Wkrótce po wybuchu II wojny światowej został aresztowany przez NKWD i do czerwca 1941 osadzony był jako więzień w Brześciu nad Bugiem, natomiast jego rodzina została deportowana w głąb ZSRR (do Kazachstanu). Wyjątkiem był najstarszy syn Julian, który w momencie wybuchu wojny przebywał w Warszawie (student prawa Uniwersytetu Warszawskiego). Po agresji niemieckiej na ZSRR został wypuszczony z więzienia przez niemców i służył jako tłumacz. Jednocześnie jednak organizował komplety tajnego nauczania w Warszawie, gdzie odnalazł najstarszego syna. Syn Julian bierze udział w powstaniu warszawskim i w trakcie poznaje swoją przyszłą żonę. Po upadku powstania warszawskiego, jesienią 1944 Józef Chmiel osiadł w podwarszawskim Ursusie, gdzie był organizatorem, dyrektorem i jednym z pierwszych nauczycieli Samorządowego Gimnazjum i Liceum Ogólnokształcącego (obecnie LVI Liceum Ogólnokształcące im. Leona Kruczkowskiego w Warszawie). Funkcję dyrektora placówki Józef Chmiel piastował do 1952. Jednocześnie był członkiem Miejskiej Rady Narodowej Ursusa, skupiającym się na kwestiach edukacji. Zmarł 30 listopada 1959 i został pochowany na Cmentarzu Parafialnym Parafii Św. Józefa Oblubieńca NMP w Ursusie.
W swoich wspomnieniach Dziekan Wydziału Finansów i Statystyki SGPiS prof. dr hab.