Miasto zaczęło podupadać w II połowie XVII wieku, kiedy to właściciele miasta zaniedbali jego rozwój, nastały liczne zarazy i epidemie, przez które ponad 2/3 ludności zmarło. Z powodu licznych pustych mieszkań, oraz ubytku ludności Radziwiłłowie postanowili sprowadzić Żydów do miasta. Początkowo zamieszkiwali oni tylko Skałkę i Składów, a w XIX wieku zaczęli przechodzić do Śródmieścia. Rynek Skałeczny zaczęto zwać Żydowskim, dla odróżnienia Rynek Wielki nazwano Katolickim. Upadek miasta przedstawia rycina Zygmunta Vogla, pokazująca zrujnowane kamienice w Rynku zwanym wówczas Katolickim. W XIX wieku Anna Sapieżyna Zamoyska została posiadaczką Szydłowca i jego najbliższej okolicy. W 1820 roku, wybudowała przy rynku szkołę elementarną (obecnie Dom pod Dębem). Wkrótce w 1828 roku, Sapieżyna odsprzedała miasto skarbowi Królestwa Polskiego. Władze miejskie w tym czasie nakazały wyburzenie karczmy oraz drewnianych domów przy południowej pierzei. Na tym miejscu urządzono Skwer Niepodległości zwany także Skwerkiem rynkowym.