22 października otrzymali także zadanie walki z wrogiem w granicach miasta, jeśli ten zdoła się przebić. Również do Kujbyszewa postanowiono wywieźć część więźniów osobnymi wagonami. Zgodnie z „planem moskiewskim” NKWD kompleks na Łubiance był zaminowany i miał zostać wysadzony w przypadku upadku miasta. Miny usunięto dopiero w 1942 roku.
Odbudowa kompleksu pod kierownictwem Szczusiewa mogła rozpocząć się w 1944 roku. Architekt zaproponował przerwanie Małej Łubianki, aby połączyć oba budynki w jeden i zbudować drugi dziedziniec. Dolną kondygnację budynku ozdobiono szarym granitem, górne kondygnacje o prostej strukturze architektonicznej pokryto beżowo-różową gładzią szpachlową. Pasowała ona do koloru pilastrów wykonanych z tufu z gruzińskiego Bolnisi. Kompozycja architektoniczna otrzymała pozytywne recenzje od współczesnych jej krytyków. Niektórzy badacze wskazują na podobieństwo projektu do Palazzo della Cancelleria w Rzymie. Samemu Szczusiewowi przypisuje się następujące oświadczenie dotyczące projektu domu: „Poprosili mnie, abym zbudował salę tortur, więc wybudowałem dla nich weselsze więzienie”.