W 1922 rozważano jego kandydaturę na stanowisko sekretarza generalnego RKP(b), którym ostatecznie został Józef Stalin.
Od listopada 1921 do lutego 1922 pełnił funkcje w Piotrogrodzie jako sekretarz odpowiedzialny Biura Północno-Zachodniego RKP(b), wiceprzewodniczący komitetu wykonawczego rad guberni piotrogrodzkiej i wiceprzewodniczący Północno-Zachodniej Rady Komisarzy Ludowych. Od kwietnia 1922 do lipca 1923 – członek Prezydium WSNCh RFSRR, w tym pomiędzy wrześniem 1922 a 1923 wiceprzewodniczący WSNCh, zajmował się rekonstrukcją przemysłu zbrojeniowego. Od 6 lipca 1923 do 12 listopada 1927 komisarz ludowy poczt i telegrafów ZSRR. Od grudnia 1922 do grudnia 1927 członek .
Od 1923 jeden z przywódców Lewicowej Opozycji w RKP(b) i WKP(b). W 1923 podpisał Oświadczenie Czterdziestu Sześciu, w 1927 Oświadczenie Osiemdziesięciu Trzech. Po śmierci Lenina publicznie domagał się usunięcia Stalina z funkcji sekretarza generalnego partii bolszewickiej.