Uczęszczał do polskiej szkoły średniej w Batignolles w Paryżu, w 1879 ukończył studia na Wydziale Lekarskim Uniwersytetu Paryskiego. Po studiach jako intern (interne des hôpitaux de Paris) uczył się anatomopatologii (u André-Victora Cornila), fizjologii, histologii, interny (u Jules’a Bucquoya) i neurologii (u Alfreda Vulpiana). W tym czasie zaprzyjaźnił się z innymi internami: Darierem, Guignardem, Suchardem i VaquezemJoseph Babinski: A Biography s. 109.
Doktorem medycyny został w 1885 po przedstawieniu pracy poświęconej związkom anatomiczno-klinicznym w stwardnieniu rozsianymBabinski J. Étude anatomique et clinique sur la sclérose en plaques. Paris, G Masson, 1885. W tym samym roku Józef i jego brat zmienili zapis imion na francusko brzmiące: Joseph i Henri. Rodzina Babińskich przeniosła się też na Rue Bonaparte w 6. dzielnicy.
W 1884 zwolniło się stanowisko pierwszego asystenta (chef de clinique) we Szpitalu Pitié-Salpêtrière, w tym samym czasie rozstrzygano konkurs o złoty medal dla najlepszego interna paryskich szpitali. Jean-Martin Charcot przystał na propozycję Joffroya, by z dwóch starających się o stanowisko kandydatów (Babińskiego i Richardiera) przyjąć tego, który nie zdobędzie złotego medalu.