Po napaści Niemiec na ZSRR, od sierpnia 1941 służył na stanowiskach szefa sztabu frontów: Południowego, Północno-Kaukaskiego, Zakaukaskiego i Czarnomorskiej Grupy Wojsk. Od grudnia 1942 był I zastępcą szefa Sztabu Generalnego, a od lutego 1945 szefem Sztabu Generalnego Armii Czerwonej. Uczestniczył w konferencjach w Jałcie i Poczdamie. W latach 1948–1954 był I zastępcą i dowódcą Zakaukaskiego Okręgu Wojskowego. Od kwietnia 1954 był I zastępcą szefa Sztabu Generalnego, a od maja 1955 szefem sztabu Zjednoczonych Sił Zbrojnych Państw Stron Układu Warszawskiego, jednocześnie od 26 maja 1955 do 24 maja 1958 był sekretarzem generalnym Układu.

W 1956 poślubił Olgę Liepieszyńską, primabalerinę Teatru BolszojOlga Lepeshinskaya telegraph.co.uk, 23 grudnia 2008 [dostęp 2011-08-21].

Zmarł 18 czerwca 1962 w Moskwie, pochowany pod murem kremlowskim na Placu Czerwonym.

Awanse pułkownik – 2 grudnia 1935 kombrig – 16 lipca 1937 generał major – Uchwała Rady Komisarzy Ludowych nr 945 z 4 czerwca 1940 generał porucznik – Uchwała Rady Komisarzy Ludowych nr 2294 z 27 grudnia 1941 generał pułkownik – Uchwała Rady Komisarzy Ludowych nr 362 z 4 kwietnia 1943 generał armii – Uchwała Rady Komisarzy Ludowych nr 915 z 27 sierpnia 1943