Kazimiera ukryła go w cieście (makowcu) i przemyciła do Paryża, gdzie przebywał jej brat Tadeusz. W 2007 roku Tadeusz przywiózł go do Krakowa razem z kożuchem Józefa jako dar dla Muzeum Armii Krajowej w Krakowie.

28 kwietnia 1940 r. odbył ostatnią rozmowę z majorem. Na Hubalu, ukrywającym się wówczas w lasach koło Opoczna ciążył wyrok śmierci wydany przez komendę główną Związku Walki Zbrojnej za kilkukrotne niezastosowanie się do rozkazu rozwiązania oddziału. Na jego polecenie Wyrwa udał się z misją do Warszawy mającą na celu zmianę nastawienia dowództwa do niesubordynowanego majora. Dwa dni później Hubal zginął w niemieckiej obławie pod Anielinem.

Partyzantka Po rozbiciu oddziału, kilku niedobitków zmierzało w nocy do Lipy, gdzie Wyrwa był nadal kierownikiem szkoły. Niemcy urządzili na nich zasadzkę. Po kilku dniach zaczęli szukać we wsi „ważnej osoby”. Wieczorem okrążyli wieś i spędzili wszystkich mężczyzn na dziedziniec szkolny. Wyrwa, uprzedzony w ostatniej chwili przez sołtysa Zatorę ukrył się w pomieszczeniu gospodarczym za snopkiem, gdzie przesiedział 4 dni do odejścia Niemców. Po tym zajściu opuścił Lipę i zaczął się ukrywać.