27 lipca 1939 Schwarz przekazał budynek rządowi portugalskiemu pod warunkiem przekształcenia go w muzeum. W zamian Schwarz i jego żona Agata otrzymali obywatelstwo portugalskie, co zapewniło im i ich córce Clarze ochronę podczas Holokaustu. Od 1939 w budynku funkcjonuje Muzeum Portugalsko-Żydowskie im. Abrahama Zacuto (port. Museu Luso-Hebraico Abraão Zacuto).
Chociaż Samuel, Agata i Clara pozostali bezpieczni w Portugalii podczas Holokaustu i II wojny światowej, stracili krewnych zarówno ze strony Szwarców, jak i Barbaszów. Osiemdziesięcioletni wówczas ojciec Samuela, Isucher, zginął w 1939, gdy Niemcy wkroczyli do Zgierza i spalili jego dom rodzinny oraz bibliotekę. Jedno z rodzeństwa Samuela i jego siostrzeniec zginęli w obozie zagłady. Samuel bezskutecznie próbował sprowadzić krewnych do Portugalii: portugalski rząd odrzucił jego prośby o pozwolenie na ich osiedlenie się, chociaż w czerwcu 1940 roku przejeżdżali przez Lizbonę w drodze do Londynu. Ocalali Szwarcowie osiedlili się po wojnie w różnych miejscach, w tym w Izraelu.