Swoją piłkarską karierę Jan Gomola rozpoczynał w rodzimej Kuźni Ustroń, a później dołączył do Górnika Zabrze, gdzie spędził niemal dekadę.
Barwy drużyny z Zabrze reprezentował w latach 1965-1974. Łącznie zagrał dla niej 155 spotkań we wszystkich rozgrywkach. W trakcie swojej przygody z Górnikiem Zabrze pięciokrotnie świętował krajowe mistrzostwo, a także cztery razy zdobywał Puchar Polski.
Gomola znany był ze swojej brawurowości i odwagi. Wielokrotnie próby skutecznej interwencji przypłacał zdrowiem, co imponowało kibicom.
Po odejściu z Górnika Zabrze Gomola przeniósł się do Meksyku, gdzie najpierw występował dla Atlético Español Mexico City, a później dla C.D. Zacatepec. Na obczyźnie radził sobie świetnie, jednak z uwagi na kontuzję kręgosłupa musiał powrócić do kraju.
Po powrocie do Polski i odwieszeniu butów na kołku zajął się pracą trenerską. W latach osiemdziesiątych był trenerem bramkarzy w Beskidzie Skoczów. Był też trenerem Morcinka Kaczyce i Piasta Cieszyn.
Gomola w trakcie swojej gry w Górniku Zabrze zaliczył również siedem występów dla pierwszej reprezentacji Polski. Kontuzja kręgów szyjnych spowodowała, że nie otrzymał on powołania na Igrzyska Olimpijskie w 1972 roku.