W pierwszej połowie XVII wieku rozpoczął się stopniowy upadek miasta. W 1615 roku przeprowadzono lustracje starostwa szydłowskiego – wynikło z nich, że w mieście było 241 zabudowań, z czego 52 to domy w rynku, 76 domy na ulicach, 39 na ,,Błoniu’’ i ,,Pastwisku’’, 69 na Przedmieściu św. Leonarda, 2 na „Bugaju” i 3 domy należące do kościoła. W 1630 Szydłów został spalony przez oddział zbuntowanych wojsk najemnych. Nieopłacone wojsko nie mogąc dostać się w obręb murów, podpaliło przedmieścia, od których zajęła się także część miasta. Ogromne zniszczenia przyniósł potop szwedzki oraz najazd Rakoczego. W 1655 miasto i zamek zostały zniszczone. Z 1300 mieszkańców Szydłowa ocalało zaledwie ok. 350. Liczba domów zmniejszyła się do 54 w 1663. Po tej klęsce miastu nie udało się już podźwignąć. W czasie III wojny północnej w Szydłowie wybuchła zaraza, która zdziesiątkowała miejscową ludność.