Od tego momentu zmienił się ustrój miasta, wprowadzono urzędy burmistrza i ławników. Za udział miejscowych Polaków w powstaniach narodowych (szczególnie styczniowego z lat 1863–1864) rosyjskie władze carskie zdegradowały Zwoleń do rangi osady. Efektem tego był zastój ekonomiczno-gospodarczy. W latach 1870–1925 Zwoleń był osadą w gminie Zwoleń. Kiedy Polska odzyskała niepodległość w 1918 r. Zwoleń został włączony do województwa kieleckiego. 10 czerwca 1925 rozporządzeniem Rady Ministrów Zwoleń ponownie został wpisany w poczet miast; jednocześnie rozszerzono jego granice..
W początkach I wojny światowej w okolicach miejscowości rozgrywały się ciężkie boje toczone przez wojska austriackie z oddziałami rosyjskimi. W samym Zwoleniu stacjonował sztab austriackiego korpusu gen. Paula PuhalliGenerał broni Tadeusz Jordan Rozwadowski, Wspomnienia Wielkiej Wojny, Warszawa 2015..
W 1921 w Zwoleniu mieszkało około 8544 osób z czego 3787 Żydów. Do chwili wybuchu II wojny światowej liczba żydowskich mieszkańców wzrosła do około 5000Eugeniusz Fąfara Gehenna ludności żydowskiej s. 625..