Po agresji ZSRR na Polskę dostał się do niewoli sowieckiej, jednak zdołał uciec oddalając się od kolumny jeńców. W 1940 wstąpił do ZWZ. Prowadził szkolenia partyzantów w Żukowie. Następnie działał w Armii Krajowej. Był dowódcą drużyny, potem dowódcą plutonu w III Rejonie Obwodu Lublin AK w ramach Okręgu Lublin AK. Jego działalność z okresu wojny nie jest szeroko udokumentowana, znany jest jednak epizod zastrzelenia w boju spotkaniowymPiotr Niwiński, Tomasz Łabuszewski: „Sprawa” Józefa Franczaka – czyli historia
alternatywna (w związku z pracą Sławomira Poleszaka) Pamięć i Sprawiedliwość ISSN 1427-7476, s. 649–703. przez „Lalka” żydowskich partyzantów, a także zarzuty wydania przez niego niemieckim okupantom żydowskiego krawca oraz ciężkiego pobicia i ograbienia małżeństwa ukrywającego Żydów (patrz: Oskarżenia o zastrzelenie partyzantów żydowskich, denuncjację i pobicie).
W sierpniu 1944 został przymusowo wcielony do 2 Armii Wojska Polskiego. W styczniu 1945, będąc świadkiem wydawania i wykonywania wyroków śmierci na AK-owcach (m.in.: Kąkolewnica, Uroczysko Baran koło Międzyrzeca Podlaskiego) zdecydował się na dezercję.