Następnie służył w 3 Dywizji Piechoty, po czym – awansowany do stopnia kapitana – objął dowództwo kompanii „K” w 7 Dywizji Piechoty.
Następnie trafił znów do West Point na dodatkowe szkolenie w dziedzinie taktyki wojskowej. W tym czasie zetknął się z taktyką wojsk powietrznodesantowych, którymi miał dowodzić w przyszłości.
W czasie II wojny światowej James Gavin służył w Europie; awansowany na generała brygady w 1943 był najmłodszym amerykańskim generałem od czasów wojny secesyjnej. Brał udział w operacjach: Husky (inwazja Sycylii, lato 1943), Overlord (przełamanie Wału Atlantyckiego, lato 1944) i Market Garden (jesień 1944S. Żerko, Biograficzny leksykon II wojny światowej, Poznań 2013, s. 143.). Po wojnie był zwolennikiem tworzenia oddziałów kawalerii powietrznej wykorzystującej śmigłowce. Między innymi jego zasługą jest masowe wykorzystywanie helikopterów przez wojska amerykańskie w operacjach po II wojnie światowej, w tym podczas wojny wietnamskiej.
Po przejściu na emeryturę James Gavin pełnił jeszcze, na prośbę prezydenta J.F.