20 czerwca 1996 Jelcyn zwolnił Barsukowa i powołał Nikołaja Kowalowa na stanowisko p.o. szefa FSB, a później na stanowisko szefa FSB. W maju 1997 struktura FSB została przeorganizowana. Od tej pory FSB podzielone jest na pięć departamentów i sześć zarządów. W latach 1998–1999 szefem FSB był późniejszy prezydent Rosji – Władimir Putin. W 1997 liczba pracowników FSB wynosiła 80 000.

Podczas kadencji Nikołaja Patruszewa w rosyjskich służbach specjalnych (1999-2008) doszło do zamordowania Anny Politkowskiej i Aleksandra Litwinienki (2006) oraz zamachów bombowych na bloki mieszkalne (1999) – dokonanych, jak twierdził Litwinienko, przez władzę i specsłużby.

W nocy z 3 na 4 października 1999 w rejonie nadterecznym Czeczenii przy wykonywaniu obowiązków zaginęli 3 oficerowie GRU: kierownik grupy płk Zuriko Iwanow, mjr Wiktor Parchomow i starszy lejtnant Gałkin, a także tajny współpracownik GRU, Czeczeniec Wasami Abdulajew. 19 października w Groznym kierownik centrum prasowego Sił Zbrojonych Czeczenii Wacha Ibrahimow w imieniu dowództwa wojskowego Republiki Czeczeńskiej – Iczkeria ujawnił dziennikarzom, że oficerowie GRU „z własnej woli poddali się stronie czeczeńskiej” i wyrazili życzenie podjęcia współpracy z władzami Czeczenii.