Następnie, w 1541 r., osiadł tu pierwszy pustelnik, i to w domu, w którym mogli zatrzymać się kapłani tutaj służący, zakrystianie oraz schronić się ludzie w razie niepogody, zwłaszcza dzieci.
Dotknięte zniszczeniami wojennymi przedmieścia hradeckie pogrążały się w upadku, zwłaszcza podczas wojny trzydziestoletniej. Zdecydowana większość kościołów została uszkodzona lub zniszczona. Rozebrany został również kościół parafialny św. Antoniego pod bramą Mýtską. Także kapłani opuścili wioskę i Wzgórze św. Jana zostało dołączane do głównego kościoła w mieście – kościoła Ducha Świętego. Od podnóża wzgórza stopniowo zniknęła większość winnic. Ostatnią z nich stwierdzono tu jeszcze w 1833 r.
Kościół długi czas pozostawał pusty. Dla odprawiania nabożeństw został dostosowany dopiero w 1659 r. przez Matěja Hrdličkę, mieszczanina sezemickiego. W 1673 r. objęli kościół jezuici, którzy tutaj na każde święto odbywali ćwiczeń z katechizmu. Dwa lata później kościół został zburzony i w następnym roku przebudowany. W 1691 r. zbudowano nowy główny ołtarz. Remont dachu i wnętrza kościoła został ukończony i kościół został ponownie poświęcony w 1692 r. Tym razem zaczął nosić nazwę św. Jana Chrzciciela.