Kres świetności budowli przyniósł dekret Piusa VII z 1818 roku, ograniczający dochody mansjonarzy. Podczas prac nad nową budowlą więzienną, w latach 1823–1826, kościół został połączony z zabudowaniami neogotyckimi i stał się kaplicą więzienną. Z zewnątrz i od wewnątrz otynkowano go, przez co zniszczono bezcenne malowidła. W końcu XIX wieku kaplica więzienna uległa niewielkim przeobrażeniom: zdemontowano zewnętrzne schody, a portal przekształcono w okno. W 1899 roku Józef Smoliński odkrył fragmenty XV-wiecznej polichromii. W latach 1917–1918 odsłonięto dalsze partie malowideł.
Renowacja i prace zabezpieczające
W latach 50. XX wieku, po przeznaczeniu zamku na cele kultury, rozpoczęto gruntowną renowację kościoła. Około 1970 roku usunięto z dachu kaplicy dachówkę ceramiczną i położono w to miejsce blachę. Zdjęto zewnętrzne tynki oraz zrekonstruowano zabytkowe freski. Renowacja i konserwacja malowideł zakończona została w 1997 roku.