25 stycznia 1944 w Filadelfii znokautował w 12. rundzie przyszłego mistrza świata Ike'a Williamsa, a w następnej walce 18 lutego w Madison Square Garden został niespodziewanie znokautowany w 1. rundzie przez Ala "Bummy" Davisa. W kolejnej walce 3 marca odzyskał mistrzostwo świata według NYSAC po wygranej na punkty z Beau Jackiem. 4 sierpnia 1944 zmierzył się w swym czwartym pojedynku z tym bokserem. Tytuł mistrza świata nie był stawką tej walki. Bilety mogli kupić tylko posiadacze obligacji wojennych wypuszczonych przez rząd USA. Jack i Montgomery, którzy służyli wówczas w armii, odmówili wynagrodzenia za tę walkę. Beau Jack wygrał na punkty po 10. rundach.
15 lutego 1946 Montgomery pokonał w walce towarzyskiej Leo Rodaka, a 28 czerwca w Nowym Jorku obronił tytuł po wygranej z Alliem Stoltzem przez nokaut w 13. rundzie. 19 sierpnia tego roku został znokautowany w 2. rundzie w walce towarzyskiej przez Wesleya Mouzona, ale zrewanżował mu się w walce o mistrzostwo 26 listopada 1946 w Filadelfii, nokautując go w 8. rundzie.