W tym czasie poślubił piosenkarkę Dorothy Williams (śpiewająca w orkiestrze Pollacka), która razem ze swoją młodszą siostrą Hannah (późniejszą żoną boksera Jacka Dempseya) tworzyła znany duet wokalny The Williams Sisters. Miał z nią córkę, Dorothy. Małżonkowie jednak wkrótce się rozwiedli. Potem przez pewien czas przebywał w Ameryce Południowej. Po powrocie do kraju w latach 1936–1941 najpierw prowadził własne zespoły, a następnie dołączył do big-bandu Jacka Teagardena.
W 1942 został powołany do wojska. W 1944 w szeregach 462nd Antiaircraft Artillery Automatic Weapons BattalionJohn R. Mott, (zmotoryzowany batalion artylerii przeciwlotniczej z bronią automatyczną) walczył w pierwszych dniach lądowania wojsk alianckich w Normandii. Uznano jednak, że jako muzyk bardziej się przyda zapewniając wojsku rozrywkę, został więc przeniesiony do USO Camp Shows. Podczas polowych występów artystycznych dla żołnierzy pełnił rolę konferansjera oraz grał muzykę dixielandową ze zorganizowanym przez siebie małym zespołem. Członkiem grupy był także jego długoletni przyjaciel i współpracownik Bud Freeman. W czasie pobytu w Belgii poznał brytyjską pianistkę jazzową Margaret Marian Turner, z którą 3 lutego 1945 ożenił się w niemieckim Akwizgranie.