Podczas II wojny światowej zbiory muzeum przejęli Niemcy. W 1941 roku wywieźli oni najcenniejsze eksponaty sakralne; ucierpiały też inne zbiory.
Reaktywacja placówki nastąpiła w kwietniu 1945 roku. Jego pierwszym powojennym dyrektorem został artysta malarz Jan Studencki. W 1946 roku zbiory przeniesiono do Starego Zamku. Wówczas też nadzór nad muzeum objęło Muzeum Narodowe w Krakowie. Na potrzeby muzeum przeznaczono gmach przy ul. Kościuszki 5 (tzw. Siejbę), do którego placówka przeniosła się w 1960 roku, po uprzednim remoncie. Muzeum mieściło się tam do 2005 roku. Od 1990 roku organem założycielskim placówki jest miasto Żywiec, a placówka przyjęła nazwę Muzeum Miejskie w Żywcu. W 1992 r. otwarto wystawę „Sztuka Sakralna Żywiecczyzny” w Starym Zamku, a potem także wystawę „Historia i tradycja miasta Żywca”. W Siejbie zwiedzać można było nadal wystawę etnograficzną i przyrodniczą.