Zamek więc rozbudowali Pileccy. Pomimo modernizacji bardzo szybko przestała wystarczać rosnącym w potęgę i bogactwo właścicielom. Ograniczona powierzchnia wzgórza utrudniała dalszą rozbudowę, zaś niekorzystne połączenie komunikacyjne spowodowało, że Wojciech Padniewski najpierw zamieszkiwał w dworze u stóp zamku, a następnie postanowił przenieść się około 1610 r. do Pilicy, gdzie było dość miejsca, by wybudować nową, okazalszą siedzibę (zamek w Pilicy); 1655 r. – Szwedzi zdewastowali zamek; 1657 r. – Stanisław Warszycki planował oddanie zrujnowanego zamku na klasztor Franciszkanów. Nie doszło to jednak do skutku, a klasztor wiek później powstał w Pilicy; 1797 r. – Austriacy przyczynili się znacząco do dewastacji zamku, używając kamienia z murów do budowy komory celnej w Smoleniu; 1932 r. – decyzją z 22 grudnia 1932 ruiny zamku wpisano do rejestru zabytkówMichał Bulsa, Rejestr zabytków województwa śląskiego sprzed 1939 roku. Stan badań, „Wiadomości Konserwatorskie Województwa Śląskiego” 2021, t. 13, s. 282.;