Współcześni zwracali uwagę na wady architektoniczne budynku: naruszenie integralności zespołu i brak jednolitego stylu. Parter nowo wybudowanego domu był połączony z dawnym kompleksem towarzystwa ubezpieczeniowego „Rossija”. Pomieszczenia zajmowały wydziały zagraniczne, transportu, księgowości i statystyki, główny oddział straży granicznej, archiwum, biblioteka i inne służby. Zgodnie z nową numeracją nowo wybudowany budynek otrzymał numer 4, a ponieważ wcześniej rozebrane budynki miały numery 6 i 10, nie były już one więcej wymieniane na ulicy Bolszaja Łubianka. W tym samym okresie na budynek więzienia wewnętrznego podniesiono o cztery kolejne piętra.
W 1939 roku architektowi Aleksiejowi Szczusiewowi zlecono rekonstrukcję starych budynków. Początkowo projekt miał być budynkiem pięciokondygnacyjnym, bogato zdobionym w górnej części. Jednak później plany zostały ograniczone. Szkic zatwierdził ludowy komisarz spraw wewnętrznych Ławrientij Beria w 1940 roku, ale z powodu wybuchu wojny z Niemcami prace budowlane zostały przełożone. 20 października 1941 roku w Moskwie wprowadzono stan oblężenia. W tym okresie większość aparatu bezpieczeństwa państwowego została ewakuowana do Kujbyszewa, ale w mieście pozostali ci enkawudziści, którym powierzono zadanie ochrony porządku publicznego w stolicy.