Przyjaźnił się z małżeństwem Żeromskich i Limanowskich, utrzymywał bliskie stosunki z polskimi socjalistami Adolfem Warskim, Cezaryną Wojnarowską, Stanisławem Padlewskim, u niego przez pewien czas mieszkał młody Andrzej Niemojewski, wówczas zwolennik anarchizmu, u Zielińskich zatrzymał się też Bolesław Prus podczas swojej podróży do Francji czy Edward Abramowski szukający kontaktów z Wielkim Wschodem Francji.
W marcu 1900 roku, pomimo anarchistycznego światopoglądu i żarliwego internacjonalizmu, Zieliński gorąco zachęcany przez Kazimierza Kelles-Krauza wstąpił wraz żoną do Sekcji Paryskiej Oddziału Zagranicznego PPS, dając tym samym wyraz przekonaniu o konieczności zjednoczenia polskich środowisk socjalistycznych. Zaledwie miesiąc po wstąpieniu w struktury Partii, 18 kwietnia 1900 roku, na uroczystym polskim wiecu wystąpił z apelem o zjednoczenie wszystkich kierunków wśród polskich socjalistów „pod jednym czerwonym sztandarem – przeciw jednemu wrogowi”. Treść przemówienia chciał następnie wydrukować w formie listu otwartego na łamach „Przedświtu” – londyńskiego organu PPS, na co redakcja nie wyraziła zgody z powodu wyraźnego kursu kierownictwa Partii zmierzającego do usunięcia SDKPiL z polskiej i międzynarodowej sceny politycznej.