W 1943 najpierw wygrał w towarzyskich walkach z byłymi mistrzami świata Fritzie Zivicem (dwukrotnie) i z Henrym Armstrongiem, a 21 czerwca stoczył walkę w obronie tytułu z Bobem Montgomerym, pierwszą z czterech walk między tymi pięściarzami. Przegrał jednogłośnie na punkty i stracił pas mistrza świata. 11 listopada tego roku odzyskał tytuł po pokonaniu na punkty Montgomery’ego.
28 stycznia 1944 w Nowym Jorku Beau Jack zremisował w towarzyskiej walce z Sammym Angottem, a 3 marca tego roku, także w Madison Square Garden przegrał z Montgomerym, tracąc tytuł mistrza świata. Następnie pokonał Ala „Bummy” Davisa i Juana Zuritę, a 4 sierpnia 1944 zmierzył się w swym czwartym pojedynku z Bobem Montgomerym. Tytuł mistrza świata nie był stawką tej walki. Bilety mogli kupić tylko posiadacze obligacji wojennych wypuszczonych przez rząd USA. Jack i Montgomery, którzy służyli wówczas w armii, odmówili wynagrodzenia za tę walkę. Beau Jack wygrał na punkty po 10. rundach. W tym roku został wybrany bokserem roku przez magazyn „The Ring”.