Jesienią 1936 został przeniesiony do naczelnego dowództwa wojsk lądowych. Przygotowywał m.in. wielkie manewry Wehrmachtu w 1937. Halder opracował również nowe koncepcje operacyjnej mobilności wojsk pancernych i nakazał przetestować innowacje w dowodzeniu czy aprowizacji wojska. 12 października 1937 został mianowany II Nadkwatermistrzem naczelnego dowództwa wojsk lądowych. Jako taki z dniem 1 lutego 1938 awansował na stopień generała artylerii. 1 marca 1938 został mianowany I Nadkwatermistrzem. W 1938 został szefem Sztabu Generalnego wojsk lądowych, w miejsce generała Ludwiga Becka, który został zmuszony do ustąpienia ze stanowiska. jednocześnie obiecał przeciwnikom Hitlera, że jest gotów poprzeć zamach stanu, jeżeli dojdzie do wypowiedzenia wojny Francji i Wielkiej BrytaniiRobert S. Wistrich - Kto był kim w III Rzeszy. Wydawnictwo Znak, Kraków, 1997, s. 87, język polski, .
Choć był przeciwny Hitlerowi i rozważał otwarte sprzeciwienie się jego planom militarnym, w końcu nie odważył się na sprzeciw i stopniowo dał się wciągnąć w jego zamierzenia.