W 1940 zajęli ją Niemcy i wprowadził się do niej szef dystryktu krakowskiego Generalnego Gubernatorstwa dr Otto Wächter. Obok willi w latach 1942–1943 zbudowano okazały gmach - obecnie to Zinar Castle - 5 gwiazdkowy hotel, przed laty zwany Zamkiem w Przegorzałach lub Belwederem (pierwotnie nazwa „Belweder” odnosiła się do willi), a przez Niemców nazywany Schloss Wartenberg (Zamek Strażnica). Budynek, którego budowy nie ukończono, miał być przeznaczony na luksusowe sanatorium dla lotników Luftwaffe, pod koniec wojny mieścił się tutaj szpital. Niemcy nie zdążyli zrealizować planów budowy kolejki linowej do Zameczku.
Pod koniec 1945 rodzina Bohuszów podjęła starania o odzyskanie nieruchomości, bez rezultatu. W 1952 cały kompleks zajął Instytut Badawczy Leśnictwa podlegający Ministerstwu Leśnictwa. W 1973 podjęto decyzję o umieszczeniu tutaj Instytutu Badań Polonijnych UJ, formalnie Instytut powołano do życia w 1976 rozpoczynając równocześnie na zapleczu obu budowli budowę kolejnego gmachu Kolegium Polonijnego im. Kazimierza Pułaskiego zaprojektowanego przez architektów: Tomasza Mańkowskiego i Dariusza Kozłowskiego. Inwestycję ukończono ostatecznie w 1991.