W dniach 7-10 czerwca 1917 r. obradował w Piotrkowie XIII Zjazd PPS. Na podstawie uchwał zjazdu CKR PPS postanowiło powołać ściśle zakonspirowaną komórkę, która miała przygotować organizację zbrojną PPS podobną do istniejącej w latach 1904-1911 Organizacji Bojowej PPS. Zadanie to powierzono Tomaszowi Arciszewskiemu, który decyzją PPS objął kierownictwo Pogotowia Bojowego. Faktycznym dowódcą został Korczak. Oprócz Arciszewskiego wszyscy czołowi działacze byli poprzednio w Oddziale Lotnym.
Do końca 1917 roku opracowano zasady działalności i regulamin Pogotowia. Członków Pogotowia obowiązywała dyscyplina wojskowa. Członkowi składali przysięgęW pełnej świadomości zasad, celu i charakteru organizacji Wydziału Pogotowia wstępując w jej szeregi składam uroczystą przysięgę, że władzom swoim wyznaczonym przez Wydział Centralny zawsze posłuszny będę, że włożone na mnie obowiązki z całą sumiennością wypełniać będę, że tajemnic mi powierzonych co do istnienia, składu i prac organizacji wiernie strzec będę i że sprawie Niepodległej Polski i wyzwolenia ludu pracującego krew i życie poświęcę. Prowadzono biuro paszportowe oraz tworzono oddziały terenowe. J. Korczak, S. Jarecki i W. Fabierkiewicz objechali ważniejsze ośrodki robotnicze tworząc okręgowe organizacje Pogotowia Bojowego. Na ich czele stali instruktorzy okręgowi.