Następnie organy bezpieczeństwa państwowego były wielokrotnie przekształcane i przemianowywane: od 1921 roku OGPU, które w 1934 roku weszło w skład NKWD. W budynku mieściły się także siedziby NKGB i MGB w okresie istnienia odrębnych wydziałów bezpieczeństwa państwowego. W 1946 roku NKWD zostało przekształcone w Ministerstwo Spraw Wewnętrznych, na podstawie którego od 1954 roku funkcjonowało KGB. Po rozpadzie ZSRR w budynku przy placu Łubiańskim mieściła się kwatera główna rosyjskich służb specjalnych, które również kilkakrotnie zmieniały swoje oficjalne nazwy. Od 1996 roku kompleks zajmuje FSB.
Aparat bezpieczeństwa państwowego stale się rozrastał. Tak jak w 1928 roku w urzędzie pracowało ok. 2,5 tys. osób, tak do stycznia 1940 roku personel liczył już 32 tys. Wraz ze wzrostem liczby pracowników konieczna była rozbudowa lokalu. W latach 1932–1933 za dawnym budynkiem towarzystwa ubezpieczeniowego architekci Arkady Langman i Iwan Biezrukow wznieśli dodatkowy budynek w stylu konstruktywistycznym. Miał on kształt litery „Ш”, a jego zaokrąglone rogi wychodziły na ulice Bolszaja i Małaja Łubianka. Od strony ulicy Furkasowskiej główna fasada została ozdobiona rustyką i pokryta czarnym labradorem, nad wejściem umieszczono godło ZSRR.