W 1669 r. cesarz Leopold I Habsburg podarował resztki zamku jezuitom. W pomieszczeniach starego zamku urządzili oni mały kościół, a w roku 1673 rozpoczęli budowę nowego z materiału z rozbiórki zamku. Świątynię wielokrotnie trawiły pożary (1682, 1739, 1762). W 1773 r. nastąpiła kasata zakonu. W 1811 r. kościół zamknięto, a w roku 1828 rozebrano. Na jego miejscu w latach 1829–1830 zbudowano męskie gimnazjum.

W latach 1858–1859 wybudowano drugi budynek szkolny, który połączono z wieżą Zamku Górnego poprzez otwartą dwukondygnacyjną galerię. W 1898 r. w miejscu galerii utworzone zostało nowe skrzydło. W 1937 r. zbudowano przylegające do wieży skrzydło wschodnie szkoły.

W 2006 r. przeprowadzone zostały badania architektoniczne murów i wieży. W roku 2017 zrewitalizowano wieżę, a od 2018 r. jest ona dostępna do zwiedzania.

Architektura thumb|150px|left|Pomnik Józefa Lompy, który do 2007 r. stał przed wieżą; obecnie przed budynkiem szkoły thumb|200px|Zdjęcie wieży Zamku Górnego z 1934 r. z łącznikiem tworzącym połączenie z gimnazjum