Pomimo swojego sprzeciwu wobec „jednolitego frontu” z KPP (Rybczyński obawiał się, że współpraca z komunistami mogłaby utrudnić działalność socjalistów w sferze związkowej i politycznej) w pamięci komunistów zapisał się pozytywnie, gdyż np. ostrzegał ich przed działalnością policji. W 1937 roku w wyniku interwencji Rybczyńskiego uwolniono z Berezy Kartuskiej poznańskiego działacza komunistycznego Maksymiliana Bartza, któremu później pomógł wyjechać do Belgii i znaleźć tam pracę.
Lata okupacji W połowie września 1939 roku zainteresowało się nim Gestapo. W tym czasie przebywał w szpitalu, z powodu otwarcia się starej rany z czasów I wojny światowej. Z przesłuchania, mimo osłabienia, wyszedł obronną ręką. Jednocześnie dostał zakaz uprawiania działalności konspiracyjnej. Musiał także stawiać się co miesiąc w dawnym Domu Żołnierza (siedziba Gestapo). Po powrocie do zdrowia rozpoczął pracę w Deutsche Waffen und Munitionsfabriken jako kowal maszynowy. W końcu stycznia 1945 roku wstąpił do Polskiej Partii Robotniczej (mimo początkowych sprzeciwów działaczy komunistycznych) i dostał zadanie zorganizowania Okręgowej Komisji Związków Zawodowych. Uważał, że w Polsce powinna istnieć jedna silna partia robotnicza i dlatego zrezygnował ze wstąpienia do PPS.