Kolejne sukcesy odniesione przy współpracy z Żukowem obejmowały zaplanowanie zwycięskich ofensyw pod Kurskiem w 1943 roku, letnią ofensywę tego roku oraz zimową i wiosenną ofensywę 1944 roku, wspólnie z Żukowem, koordynował działania frontów, które zniszczyły najsilniejszą z niemieckich Grupę Armii „Środek”. Do lutego 1945 roku koordynował działania trzech frontów na wschodnim i południowym wybrzeżu Bałtyku. W lutym 1945 roku został członkiem Kwatery Głównej Naczelnego Dowództwa (Stawka) i dowódcą 3 Frontu Białoruskiego, który zdobył Königsberg. W sierpniu 1945 roku został naczelnym dowódcą Armii Radzieckiej na Dalekim Wschodzie, gdzie zaplanował operację kwantuńską.
Okres powojenny Od 1946 do 1949 roku pełnił funkcję szefa Sztabu Generalnego, a od 1949 roku funkcję ministra obrony ZSRR. Po śmierci Józefa Stalina w 1953 roku stopniowo tracił wpływy. W latach 1953–1956 pełnił funkcję I wiceministra obrony ZSRR. Przez pięć miesięcy 1956 roku nie sprawował żadnej funkcji. Od 14 sierpnia 1956 do grudnia 1957 roku ponownie wiceminister obrony ZSRR. W styczniu 1959 roku został powołany na stanowisko Generalnego Inspektora Sił Zbrojnych ZSRR, na którym zakończył karierę wojskową, a służbę pełnił do śmierci.