Od 1627 roku budynki służyły mnichom, początkowo augustianom, a od 1632 roku benedyktynom z Montserrat i zamek stał się miejscem pielgrzymek. W 1662 roku zamek zamieniono na klasztor, w którym trzymano kopię posągu Czarnej Madonny Monastyrskiej i stał się celem wędrówek tysięcy pielgrzymów jako znaczące miejsce kultu maryjnego. W 1778 roku majątek przejęli Prusacy i klasztor dekretem cesarza Józefa II został zlikwidowany. Zamek powoli chylił się ku ruinie. W XX wieku był m.in. własnością prywatną, a w 1932 roku został odkupiony przez Klub Czechosłowackich Turystów za symboliczne 2000 czeskich koron. Budowlę planowano odrestaurować w stopniu umożliwiającym udostępnienie zwiedzającym. Prace jednak przerwała II wojna światowa. W 1978 roku zamek Bezdez został wpisany na czeską listę zabytków jako Narodowa Pamiątka Kultury. Od 1982 roku trwa remont zamku, który wspierany jest funduszami państwowymi.