W 1953 przeniósł się na Wydział Geologii Uniwersytetu Warszawskiego. Został tam samodzielnym pracownikiem naukowym, obejmując kierownictwo dwóch zakładów: Kartografii Geologicznej i Hydrogeologii. W 1955 został mianowany profesorem nadzwyczajnym. W 1957 zorganizował Katedrę Hydrogeologii i został jej kierownikiem. Na tym stanowisku pozostał do końca życia.
Działalność promotorska i pozauczelniana Był promotorem 8 przewodów doktorskich i wyszkolił ponad 120 magistrów hydrogeologii. Opublikował 45 prac; opracował też 25 prac niepublikowanych oraz ponad setkę ekspertyz dla potrzeb gospodarki narodowej.
Był członkiem rad naukowych, m.in. Państwowego Instytutu Hydrologiczno-Meteorologicznego, Instytutu Melioracji i Użytków Zielonych, członkiem Komitetu Geofizyki oraz Komitetu Bilansów Wodnych Polskiej Akademii Nauk, a także członkiem towarzystw naukowych, w tym Polskiego Towarzystwa Geologicznego.
Życie prywatne Był synem Jana (ur. 31.05.1871 w Zagródkach /pow. Lwów/ – zm. 4.03.1917 w Krakowie) oraz Reginy z d. Kapusta (ur. 23.09.1885 w Mokrej Stronie pow. Przeworsk - zm. 22.07.1969 w Krakowie). Józef Gołąb miał młodszą siostrę, Marię (ur. 8.07.1905 w Balicach – zm. 11.10.1992 w Krakowie). Był dwukrotnie żonaty (z Janiną Suchorzepską oraz Józefą Sowińską) - nie pozostawił potomstwa.