Atak Niemiec na ZSRR Po rozpoczęciu operacji Barbarossa, oddział Choltitza atakował z Rumunii jako część Grupy Armii Południe na odcinku ukraińskim. Jako część 11. Armii Ericha von Mansteina walczył podczas oblężenia Sewastopola. Podczas walki liczba jego żołnierzy została zredukowana z 4,800 do 349, a sam Choltitz został raniony w ramię. Krótko po tym został awansowany na generała majora i został dowódcą 260 Dywizji Piechoty w 1942. Następnego roku awansował na stopień generała porucznika i dowodził 11 Dywizją Pancerną, którą kierował podczas bitwy na łuku kurskim.
Kampania włoska Marcem 1944 Choltitz został przeniesiony do Włoch, gdzie dowodził LXXVI Korpusem Pancernym i brał udział w operacji Shingle. W czerwcu tego samego roku przeniesiono go na front zachodni i przejął dowództwo nad LXXXIV Korpusem Armijnym, którym kierował przeciwko aliantom podczas operacji Overlord.
Paryż 1944 mały|Choltitz podpisujący kapitulację niemieckich sił w Paryżu 1 sierpnia 1944 Choltitz został awansowany na stopień generała piechoty. 7 sierpnia został mianowany dowódcą wojskowym (Wehrmachtbefehlshaber) niemieckiego garnizonu Paryża. Za swoją siedzibę objął Hotel Meurice na Rue de Rivoli.