Zaangażował się również w działalność zarządu Rady Zjednoczonych Ziomkostw (Związkowej Rady Zjednoczonych Kół Regionalnych), za którą został w 1897 aresztowany i skazany na areszt domowy pod nadzorem policyjnym w Girsach, i z którego uciekł do Wilna na wezwanie Piłsudskiego.

Z Wilna Piłsudski delegował go do Londynu z fałszywym paszportem na nazwisko „Stanisław Krajewski” na praktykę zecerską do Aleksandra Dębskiego z „Przedświtu” – organu Związku Zagranicznego Socjalistów Polskich. Rożnowski powrócił w 1899 i początkowo w Wilnie, a następnie w Łodzi wraz z Piłsudskim i Aleksandrem Malinowskim prowadził tajną drukarnię „Robotnika”, w ramach której zajmował się składem i drukiem. Po aresztowaniu Piłsudskiego, Maria Piłsudska wysłała służącą do Rożnowskiego w celu ostrzeżenia go, ten dowiedziawszy się o wpadce uciekł do Wilna, gdzie został wprowadzony przez Aleksandra Sulkiewicza do Centralnego Komitetu Robotniczego PPS. Po kilku dniach został aresztowany przez żandarmerię. Początkowo przetrzymywany był w X Pawilonie Cytadeli Warszawskiej (1900–1901), następnie w Siedlcach do jesieni 1901.