W 1923 związał się ze skupioną wokół Lwa Trockiego tzw. Lewicową Opozycją. W październiku 1923 był jednym z sygnatariuszy odzewu do członków partii bolszewickiej znanej jako List, lub Oświadczenie 46. Po rozpoczęciu przez Stalina rozprawy z opozycją Trockiego – Zinowjewa – Kamieniewa 13 października 1927 wykluczony z WKP(b) za „działalność frakcyjną” i organizację nielegalnej drukarni, w której drukowano ulotki opozycji.
Po wydaleniu Trockiego, Zinowjewa, Kamieniewa i innych przywódców opozycji z WKP(b) przez XV zjazd partii w grudniu 1927 został w styczniu 1928 zesłany (podobnie jak inni opozycjoniści) do miasta Uralsk. W maju 1929 wraz z Ivarem Smilgą i Karolem Radkiem złożył pisemną samokrytykę wobec KC, deklarując zerwanie z opozycją, został zwolniony z zesłania i w 1930 przywrócony do członkostwa WKP(b). Od stycznia 1930 do stycznia 1933 był wiceprzewodniczącym komisji planowania w Niżnym Nowogrodzie, następnie członkiem kolegium Ludowego Komisariatu Przemysłu Lekkiego w Moskwie. W styczniu 1933 ponownie wykluczony z WKP(b), aresztowany 23 stycznia 1933 przez OGPU i skazany przez trójkę OGPU na trzy lata zesłania w związku z tzw. sprawą Riutina. W grudniu 1933 uwolniony ze zsyłki i przywrócony do członkostwa WKP(b).