II wojna światowa Wybuch II wojny światowej zastał Pfeffera na stanowisku dowódcy artylerii (Arko 44), w tej roli wziął on udział w inwazji na Polskę. Na początku 1940 roku zrzekł się stanowiska i został przeniesiony do tymczasowej rezerwy. Latem 1940 roku objął dowodzenie nad nowoutworzoną 297 Dywizją Piechoty, na czele której brał rok później udział w inwazji na Związek Radziecki. Dywizja brała udział w bitwie pancernej w rejonie Dubno – Łuck – Brody, a także w zdobyciu Żytomierza, Humania, Charkowa i Rostowa nad Donem. W bitwach tych Pfeffer dowodził swoimi siłami na tyle sprawnie, że w grudniu 1941 roku został odznaczony Krzyżem Rycerskim Krzyża Żelaznego.
Jako doświadczony oficer, Pfeffer zdawał sobie sprawę, że wojna ze Związkiem Radzieckim będzie długa i wymagająca. Jeszcze przed rozpoczęciem operacji Barbarossa miał powiedzieć do jednego z kapitanów, który utyskiwał na konieczność przeniesienia do Francji na kurs dowodzenia batalionowego: „Ciesz się z tej odmiany. Wojna będzie wystarczająco długa i wystarczająco okropna, a więc jeszcze dobrze poznasz jej smak”. mały|338x338px|Niemieccy dowódcy pojmani pod Stalingradem przez radziecki patrol pod koniec stycznia 1943 roku.