W 1847 w kościele znalazły się relikwie Pacyfikusa i Cancydy – męczenników chrześcijańskich z okresu rzymskiego. W 1855 obok kościoła powstała droga krzyżowa – poświęcił ją ks. Teuber ze Słupca. Autorem obrazów na kapliczkach był malarz Siegel z Ząbkowic Śląskich. W 1880 na ołtarzu ustawiono nową figurę Madonny, wykonanej przez monachijskiego rzeźbiarza Rücknera na polecenie pustelnika Augusta Teubera. Starsza, barokowa rzeźba znalazła się w sztucznej grocie obok kościoła. Na początku XX wieku sanktuarium została wyremontowane, podobnie jak stacje drogi krzyżowej. W związku z dużym ruchem pątniczym w XIX wieku wybudowano tutaj drogę ze Słupca; w 1909 Kłodzkie Towarzystwo Górskie otwarło na Górze Wszystkich Świętych schronisko Luckasbaude, a w 1913 wieżę widokową Moltketurm. Od 1885 do 1930 w pustelni przebywał kolejny pustelnik – Anton Hertelt, znany jako brat Felix (Frater Felix). Dzisiaj upamiętnia go tablica pamiątkowa, wmurowana w ścianę kościoła. W okresie powojennym sanktuarium straciło na znaczeniu i powoli niszczało. W latach 80. XX wieku było już całkowitą ruiną z zawalonym dachem i częściowo zniszczonymi ścianami. Zostało odbudowane i ponownie konsekrowane dopiero w 1996. W nowy ołtarz główny wmurowano relikwie św.