W 1940 roku brał udział w kampanii francuskiej. Pod koniec maja 1940 roku został przeniesiony do Wydziału Organizacyjnego Naczelnego Dowództwa Wojsk Lądowych (niem. Oberkommando des Heeres, OKH). Po sukcesie kampanii francuskiej uległ ogólnonarodowej euforii. W grudniu 1941 roku z zadowoleniem przyjął przejęcie pełnej władzy rozkazodawczej przez Hitlera, który będąc zwierzchnikiem sił zbrojnych (Wehrmachtu), stał się również naczelnym dowódcą wojsk lądowych.
Okres konspiracji
W 1942/43 Stauffenberg zaczął angażować się w działalność ruchu oporu – na jego decyzję wpływ miały doświadczenia z frontu wschodniego, informacje o masowych mordach i przekonanie o niewłaściwym dowodzeniu armią. Przekonany o niekompetencji Hitlera w prowadzeniu wojny, wzywał do ratowania Niemiec. Razem z bratem Bertholdem i członkami Kręgu z Krzyżowej brał udział w opracowywaniu odezw rządowych na okres po zamachu stanu. Spiskowcy planowali powrót do wolności i praw gwarantowanych przez konstytucję sprzed 1933 roku, lecz odmówili przywrócenia demokracji parlamentarnej.