Pozostał w Reichswehrze po utworzeniu Republiki Weimarskiej. Został kapitanem kawalerii w 1929. W 1937 został awansowany na stopień majora i stał się dowódcą 16 Pułku Piechoty „Oldenburg”, który wchodził w skład 22 Dywizji Piechoty. W 1938 awansował na podpułkownika. Brał udział w okupacji Kraju Sudetów.
II wojna światowa mały|lewo|Choltitz w 1940 mały|Choltitz w 1942
Kampania wrześniowa Jako dowódca batalionu uczestniczył w ataku na Polskę. Walczył pod Łodzią i nad Bzurą, gdzie został ranny.
Kampania holenderska W maju 1940 brał udział w walkach o Rotterdam przeprowadzając desant na miasto i zajmując jego najważniejsze mosty. Po bombardowaniu Rotterdamu, podczas dyskusji z Holendrami o warunkach kapitulacji ich sił w Rotterdamie, generał porucznik Kurt Student został postrzelony w głowę. Student był lubiany wśród swoich żołnierzy, i gdy niemiecka armia zamierzała przeprowadzić egzekucję na poddających się holenderskich oficerach w odwecie, Choltitz interweniował i zapobiegł tej masakrze. Za swoje akcje w walkach o Rotterdam otrzymał Krzyż Rycerski Krzyża Żelaznego.