Żony aresztowanych często również były wysyłane do obozów, w tym do obozu dla żon „zdrajców ojczyzny” w obwodzie akmolińskim (znanego jako AŁŻIR), a dzieci do sierocińców i specjalnych aresztów.
Z latami stalinowskimi wiążą się popularne nazwy domu: „kazamata na Biersieniewskiej”, „przedsionek Gułagu”, „pułapka na bolszewików”, „dom tymczasowego aresztowania”, „uśmiech Stalina”, „masowy grób”, czy „krematorium Kremla”. Według jednej z wielu legend córka aresztowanego oficera zabarykadowała się w pustym mieszkaniu, obiecując zastrzelić z rewolweru jej ojca każdego, kto wejdzie do środka. Wskutek tego została zamurowana w mieszkaniu na osobisty rozkaz Nikołaja Jeżowa i wkrótce zmarła z głodu. Inna legenda mówi, że z domu prowadziło bezpośrednie przejście na Łubiankę lub na Kreml. Krążyły pogłoski, że w mieszkaniach represjonowanych słychać głosy, dźwięki gramofonu, płacz dzieci.
1940–1990 thumb|Tablica pamiątkowa na Domu na nabierieżnoj upamiętniająca Jurifa Trifonowa i jego powieść, 2011 Podczas II wojny światowej wszyscy mieszkańcy domu zostali przesiedleni, a sam kompleks zaminowany na wypadek kapitulacji Moskwy, aby nie oddać go Niemcom.