Poparł wraz z Nikołajem Bucharinem Józefa Stalina, Grigorija Zinowjewa i Lwa Kamieniewa przeciwko Lwu Trockiemu, następnie Stalina przeciwko lewicowej opozycji (Zinowjew, Kamieniew). W 1929 wystąpił razem z Bucharinem przeciwko odejściu od polityki NEPu – przeciw przymusowej kolektywizacji rolnictwa i przyspieszonej budowie przemysłu ciężkiego, co Stalin nazwał odchyleniem prawicowym. W maju 1929 został odwołany z funkcji premiera RFSRR, w grudniu 1930 z funkcji premiera ZSRR i z Biura Politycznego. Jego miejsce w rządzie RFSRR zajął Siergiej Syrcow, w rządzie ZSRR – Wiaczesław Mołotow. W latach 1931–1936 był ludowym komisarzem łączności.
W czasie wielkiej czystki 27 lutego 1937 w czasie plenum KC WKP(b) został aresztowany przez NKWD. Podsądny w pokazowym trzecim procesie moskiewskim przed Kolegium Wojskowym Sądu Najwyższego ZSRR pomiędzy 2 a 13 marca 1938 (m.in. wraz z Bucharinem, Gienrichem Jagodą, Nikołajem Krestinskim i in.). 13 marca 1938 skazany na śmierć z zarzutu udziału w organizacji kontrrewolucyjnej i szpiegostwa.