Potem starostwo wraz z zamkiem i kilkoma okolicznymi wsiami dzierżawili kolejno: Piotr Szafraniec z Pieskowej Skały (1404–1406), Jan Mężyk z Dąbrowy (1406–1437), Mikołaj z Balic i Ossolina (1440–1459) oraz Zbigniew z Wodzisławia herbu Zadora (1485–1497), Adam Wodzisławski, Jan Boner (1515–1523), Andrzej Tęczyński (1525–1536).
Po 1536 r. zamek przeszedł w ręce królowej Bony Sforzy, która po 20 latach, w związku z wyjazdem do Włoch w 1556 roku, przekazała go Stanisławowi Płazie z Mstyczowa herbu Topór. Po śmierci Stanisława Płazy w 1587 r. zamek trafił do Piotra Myszkowskiego herbu Jastrzębiec, a potem do jego syna Aleksandra Myszkowskiego. W ich czasach zamek został znacznie zaniedbany.
Zamek od XVII do XVIII w. W 1619 r. Aleksander Myszkowski za zgodą króla sprzedał zrujnowany zamek Mikołajowi Korycińskiemu z Pilicy herbu Topór. W 1620 r. lustracja opisała zamek jako zrujnowany, jednak wkrótce nowy właściciel wyremontował go i wybudował od południowej strony nowy budynek na ruinie dawnego gotyckiego. Syn Mikołaja, Mikołaj Ferdynand Koryciński od 1637 roku kontynuował przebudowę zamku.