Zarządcy ci dokonali pewnej przebudowy, ale zamek całkowicie stracił charakter obronny.
18 kwietnia 1800 roku wybuchł pożar i w ciągu kilku dni zniszczył wszystkie drewniane części zamku. Franciszek Zichy zabezpieczył przed dewastacją jedynie część dolnego zamku, który w takim stanie przetrwał przez 60 lat. Zrujnowana budowla służyła jako ciężkie więzienie, w którym odbywało kary wielu zbójników tatrzańskich. W roku 1852 sędziwy zarządca komposesoratu Franciszek Zichy (syn poprzedniego) podejmował w zamku cesarza Franciszka Józefa.
W 1868 roku za sprawą nowego zarządcy Edmunda Zichyego (1842–1894) zawieszono działalność penitencjarną i urządzono w zamku jedno z pierwszych na Słowacji muzeów. Muzeum Komposesoratu Orawskiego (słow. Múzeum Oravského komposesorátu) wypełniły zbiory broni i uzbrojenia z zasobów dawnej zbrojowni zamkowej, elementy zamkowego wyposażenia, zespół drewnianych modeli orawskiej architektury: domów mieszkalnych, tartaków, młynów wodnych, folusza, zapór wodnych itp. Zbiory muzealne zostały udostępnione publiczności w 1868 roku, a pierwsze katalogi zbiorów były publikowane w latach 90. XIX wieku. Po Zichym rządy na orawskim zamku sprawował w latach 1894–1896 Paweł Esterhazy. Jego następca Jozef Palffy (1896–1919) podjął się rekonstrukcji i remontu budowli.