Diekanozow przeszedł do centrali NKWD w listopadzie 1938. 2 grudnia 1938 roku został szefem Oddziału 5 GUGB, (tzw. INO ИНОстранный отдел, Oddział Zagraniczny) zajmującego się wywiadem zagranicznym. Kierował nim do maja 1939 roku, kiedy został zastąpiony przez majora BP Pawła Michajłowicza Fitina absolwenta Szkoły Specjalnego Przeznaczenia, pierwszej oficjalnej szkoły wywiadu w ZSRR. Diekanozow w stopniu komisarza BP III rangi został zastępcą szefa GUGB Mierkułowa oraz szefem Oddziału 3 (KRO) GUGB odpowiedzialnego za kontrwywiad. W 1939 został zastępcą członka, a w 1941 członkiem KC WKP(b).

W czasie gdy kierował kontrwywiadem GUGB został zastępcą Ludowego Komisarza Spraw Zagranicznych Mołotowa następnie ambasadorem ZSRR w Berlinie. Kiedy po śmierci Stalina Beria zlikwidował Ministerstwo Bezpieczeństwa Państwowego ZSRR, a jego komórki włączył do kierowanego przez siebie Ministerstwa Spraw Wewnętrznych ZSRR, mianował Diekanozowa ministrem SW Gruzinskiej SRR.

Diekanozow został aresztowany po upadku Ławrientija Berii, uznany przez Sąd Najwyższy za winnego próby odbudowy kapitalizmu i przywrócenia rządów burżuazji.