Struktura organizacyjna Głównego Zarządu Politycznego przy NKWD RFSRR składała się w większości z pionów przejętych z nieistniejącej już Czeki, takich jak Oddział Kontrwywiadowczy (KontRrazwiedywatielnyj Otdieł – KRO), Zarząd Tajno-Operacyjny (Siekrietno-Opieratiwnoje Uprawlenije – SOU), z którego wywodzi się Oddział Specjalny (Osobyj Otdieł – OO, czyli kontrwywiad wojskowy, a następnie sławny Smiersz oraz Oddział Tajno-Polityczny SPO, który w następnych latach rozrósł się do głównego pionu policji politycznej GUGB. NKWD, a po kojejnych zmianach strukturalnych w radzieckich organach bezpieczeństwa NKGB). Z Czeki przeszedł pod kontrole GPU NKWD RFSRR, jeszcze młody, ale sprawnie działający Oddział Zagraniczny (INOstrannyj Otdieł – INO), czyli pion odpowiedzialny za wywiad zagraniczny, który w następnych latach odniósł sukcesy, za które należy uznać prowadzenie tzw. Pięciu Wspaniałych oraz penetrację amerykańskiego programu budowy bomby atomowej ps.