Starosta posiadał w rezydencji okazały zbiór obrazów mistrzów włoskich. Zamek renesansowy po rozbudowie Wolskiego składał się z wieży bramnej i trzech dwupiętrowych skrzydeł mieszkalnych oraz krużganków zamykających dziedziniec z czwartej strony. Całość była otoczona murem z czterema okrągłymi wieżyczkami w narożach. Do zamku przylegało ufortyfikowane przedzamcze. Na początku XVII wieku na zamku przebywał alchemik Michał Sędziwój.
W dniu 6 listopada 1655 r. zamek został zajęty przez wojska szwedzkie pod dowództwem hrabiego Jana Vekarta z Vřesovic i stanowił dla nich bazę zabezpieczającą oblężenie Jasnej Góry. W styczniu 1656 r. zamek został zdobyty przez oddziały polskiej szlachty i górali pod dowództwem Jana Bogusława Petryczyna, a następnie odbity przez Szwedów, jednak wkrótce odzyskał go wypadem z zamku w Dankowie kasztelan krakowski Stanisław Warszycki.
Po potopie zamek odbudowano w latach 1657-1671 z inicjatywy starosty Jacka Michowskiego oraz rozpoczęto wznosić fortyfikacje bastionowe. W 1660 r. były gotowe trzy bastiony i palisady wzmocnione basztami. Wjazd był usytuowany od strony północno-zachodniej. Zbudowano też most drewniany, przechodzący przez całą dolinę rzeki Liswarty. Po Michnowskim prace kontynuował jego następca na stanowisku starosty, Samuel Prażmowski, który zbudował czwarty bastion.