W lutym 1920 r., po zwycięstwie Armii Czerwonej nad Armią Ochotniczą, został skierowany do pracy partyjnej najpierw w Odessie, a następnie w Kijowie.

1923-1937 W latach 1923–1928 pracował na Dalekim Wschodzie, wdrażając m.in. politykę industrializacji. Od 1927 roku I sekretarz Dalwoskrajkoma WKP(b) oraz przewodniczący dalriewkoma oraz Dalwoskrajispołkoma. Rok później przeniesiony na Białoruś, gdzie stał na czele KP(b)B w latach 1928-1929, odpowiadając m.in. za politykę kolektywizacji rolnictwa. Popierając politykę kolektywizacji, poparł w 1929 r. Stalina w walce z tzw. prawicową opozycją (Bucharin, Rykow, Tomski).

W 1929 r. objął stanowisko przewodniczącego Zarządu Politycznego Armii Czerwonej, zasiadał w Radzie Rewolucyjno-Wojskowej i był redaktorem naczelnym pisma „Krasnaja Zwiezda” (1929-1937). W 1930 r. mianowano go zastępcą ludowego komisarza spraw wojskowych i morskich, od 1934 - komisarza obrony. Wspierał działania Michaiła Tuchaczewskiego na rzecz modernizacji Armii Czerwonej. Usuwał z podległych sobie struktur osoby, które podczas wojny domowej przez pewien czas popierały białych, aprobował dokonywane przez NKWD aresztowania służących w Armii Czerwonej byłych carskich oficerów.