W 1650 roku odnotowano zły stan zabudowań zamkowych. W 1819 roku na mocy bulli papieża Piusa VII zlikwidowano klasztory na Łysej Górze i w Wąwolnicy.
W 1845 roku odnotowano: Miejscowe podanie głosi, że kościół i klasztor przerobiony został ze starego zamku, jakoż dotąd w zabudowaniach klasztornych widać ślady muru ze strzelnicami i obszerniejszego gmachu. Z tego i innych przekazów z XIX wieku wynika, że budynek zamku został przejęty na siedzibę klasztorną benedyktynów, a zabudowania tego klasztoru znajdowały się poza kościołem św. Wojciecha, tj. na północno-wschodniej partii dzisiejszego Wzgórza Kościelnego, gdzie około 1850–1860 po rozbiórce murów zamkowych wzniesiono plebanię.
W latach 1999–2002 archeolog Irena Kutyłowska w północno-wschodniej części Wzgórza odkryła mury sklepionej partii piwnicznej dużej wieży mieszkalno-obronnej przylegającej do nieistniejącego na powierzchni obronnego muru miejskiego Wąwolnicy. Od południa do terenu zamkowego przylegał średniowieczny dwukondygnacyjny kościół św. Wojciecha, rozebrany częściowo w 1907 roku (dolna kondygnacja się zachowała).