W latach 1927–1928 studiował na niemieckiej Wyższej Akademii Sztabu Generalnego, gdzie wystąpił również z wykładami nt. wojny domowej w Rosji.

W latach 1930–1934 był członkiem Rewolucyjnej Rady Wojennej ZSRR, a od 1936 r. – członkiem Rady Wojskowej Ludowego Komisariatu Obrony ZSRR. Delegat X, XI i XII zjazdu RPK(b) oraz XIV–XVII zjazdu WKP(b). W 1930 r. został kandydatem na członka KC, zaś cztery lata później – członkiem KC WKP(b). Był członkiem Centralnego Komitetu Wykonawczego (CIK ZSRR), zasiadał także w Biurze Politycznym Komunistycznej Partii (bolszewików) Ukrainy.

W 1935 r. był jednym z pierwszych radzieckich dowódców, którym nadano stopień komandarma I rangi. Brał znaczący udział w przeprowadzeniu manewrów Armii Czerwonej w 1935 i w 1936 r.

Aresztowanie, proces i śmierć W okresie wielkiej czystki 28 maja 1937 r. został aresztowany przez NKWD. Jakir został wezwany przez komisarza obrony ZSRR Klimienta Woroszyłowa do Moskwy, jednak nigdy tam nie dotarł – aresztowano go w drodze w pociągu służbowym na stacji w Briańsku. Kilka dni przed aresztowaniem został odwołany z funkcji dowódcy Kijowskiego Okręgu Wojskowego i mianowany dowódcą okręgu Leningradzkiego, a następnie Zakaukaskiego.