W 1888 roku Zieliński wraz z żoną Izą z Gąsowskich i trzyletnim synem wyjechał do Paryża. Pragnął kontynuować tam rozpoczęte studia medyczne, jednak w paryskim uniwersytecie nie uznano lat nauki w Warszawie i, mimo problemów z językiem, zmuszony był rozpocząć naukę na nowo. Dopiero więc w 1894 roku uzyskał Zieliński francuski dyplom doktora medycyny.
Po ukończeniu studiów, nie mając prawa praktykowania w kraju, postanowił pozostać we Francji, osiadając w robotniczej dzielnicy Paryża. Pracował zarobkowo niekiedy po kilkanaście godzin na dobę, znajdując jednak czas by udzielać bezpłatnych porad lekarskich biedniejszym pacjentom. Z czasem coraz silniej interesował się zagadnieniami społecznymi. Tutaj po raz pierwszy zetknął się z ruchem i ideami rewolucyjnego syndykalizmu i anarchizmu, z którymi prędko zaczął się identyfikować.
Brał aktywny udział w życiu paryskiej Polonii, a mieszkanie Zielińskich było zawsze otwarte dla rodaków.