Latem 1917 przyjechał do Moskwy, gdzie zaangażował się w działalność rewolucyjną. Po rewolucji bolszewickiej objął funkcję sekretarza sokolniczewskiego ispołkomu, a następnie szefa sokolniczewskiej rejonowej Czeka. Od grudnia 1918 kierował tajnym oddziałem operacyjnym moskiewskiej Czeka. W lipcu 1920 wszedł w skład kolegium Czeka. Na początku stycznia 1921 stanął na czele moskiewskiej, zaś w listopadzie tego roku piotrogrodzkiej Czeka. Popadł w silny konflikt z Grigorijem Zinowiewem, ale mimo tego nie utracił stanowiska. Od października 1922 dowodził jednocześnie wojskami OGPU okręgu piotrogrodzkiego. Następnie objął funkcję zastępcy szefa OGPU. Pod koniec września 1926 był celem nieudanego zamachu. W tym samym roku został członkiem Północno-Zachodniego Biura Komitetu Centralnego Wszechrosyjskiej Komunistycznej Partii (bolszewików). Od końca października 1929 był II zastępcą szefa OGPU. Współtworzył Oddział Zagraniczny OGPU.