Od listopada 1940 do marca 1942 budynek znajdował się w warszawskim getcie. Mieściły się w nim kolejno: siedziba Żydowskiej Samopomocy Społecznej, punkt etapowy dla Żydów wysiedlonych z Niemiec i magazyn mebli zrabowanych w getcie. Przetrwał, choć uszkodzony, zarówno powstanie w getcie warszawskim, jak i powstanie warszawskie. Zbiory biblioteki zostały zrabowane przez Niemców. Po wojnie ich część udało się odzyskać (według innego źródła biblioteka utraciła 100% swoich zbiorów, tj. 40 tys. jednostek).
16 maja 1943, po wysadzeniu Wielkiej Synagogi, w budynku wybuchł pożar, czego pamiątką są ślady w posadzce w holu na parterze. Do przywrócenia nazwy ul. Tłomackie w latach 80. XX wieku budynek miał adres al. Świerczewskiego 79.
Fragment getta, w którym w latach 1940–1942 znajdowały się m.in. Biblioteka i Wielka Synagoga, upamiętnia od 2008 jeden z pomników granic getta przy ul. Bielańskiej, róg ul. A. Corazziego. W maju 2016 nad głównym wejściem do budynku odtworzono przedwojenny napis Główna Biblioteka Judaistyczna w języku polskim i języku