Życiorys Syn Olgi, z zawodu nauczycielki i Zygmunta (1863–1915) – sędziego. Młodszy brat Stanisława, prezydenta Częstochowy. Józef Rybicki we wczesnej młodości mieszkał w Brzeżanach, a później we Lwowie. Uczestniczył w wojnie polsko-bolszewickiej jako żołnierz w Małopolskich Oddziałach Armii OchotniczejO tych oddziałach zob. . Ranny 16 sierpnia 1920 w bitwie pod Rakobutami.
2 lipca 1927 poślubił Stefanię Neuman. W tym samym roku ukończył filologię klasyczną na Uniwersytecie Stefana Batorego w Wilnie, w latach 1928–1931 był tam asystentem, a w 1930 uzyskał doktorat na podstawie rozprawy De Foricoeniorum Cochanovii fontibus antiquis. W latach 1931–1934 był nauczycielem w Państwowym Gimnazjum im. Adama Mickiewicza w Wilnie, 1934–1937 p.o. dyrektora Państwowego Gimnazjum im. Adama Mickiewicza w Nowogródku, 1937–1939 dyrektorem Państwowego Gimnazjum i Liceum im. Bartosza Głowackiego w Tomaszowie Lubelskim.
II wojna światowa Od 1939 działał w polskim podziemiu zbrojnym: najpierw w Służbie Zwycięstwu Polski, od lutego 1940 w Tajnej Organizacji Wojskowej, gdzie od kwietnia lub maja 1941 był komendantem okręgu warszawskiego, następnie również zastępcą komendanta głównego tej organizacji (był nim Jan Mazurkiewicz ps. Zagłoba).