1 marca 1909 mianowany został szefem Oddziału II Komendy I Korpusu w Krakowie. W maju 1911 awansowany na kapitana i przeniesiony na stanowisko szefa Oddziału III w tej samej komendzie korpusu. 20 lipca 1914 powierzono mu funkcję delegata Sztabu Generalnego i Naczelnej Komendy Armii przy oddziałach strzeleckich. 2 sierpnia 1914 r. za zgodą przełożonych J. Rybak jako oficer prowadzący agenta wywiadu Józefa Piłsudskiego wydał mu zgodę na przeprowadzenie mobilizacji Związku Strzeleckiego i Polskich Drużyn Strzeleckich. J. Rybak 15 sierpnia 1914 r. wyznaczony został na stanowisko szefa Oddziału II Komendy 1 Armii. Następnie pełnił funkcje zastępcy szefa sztabu 57 Dywizji Piechoty i szefa sztabu 59 Dywizji Piechoty. Na stopień majora został mianowany ze starszeństwem z 1 lutego 1916. 1 sierpnia 1917 został zastępcą szefa sztabu generalnego gubernatora lubelskiego. 1 maja 1918 awansował na podpułkownika. Od września do listopada 1918 był szefem sztabu 58 Dywizji Piechoty na froncie włoskim nad Piawą.