Historia Zwoleń powstał na gruncie wsi Gotardowa Wola w latach 20. XV w., na mocy przywileju wydanego przez króla Władysława Jagiełłę. Datowane dokumenty lokacyjne z 1425 poświadczają zaawansowany już stopień zasadzenia osady.

Lustracja miasta z 1564 potwierdza ważność szlaku komunikacyjnego biegnącego z Lublina przez Zwoleń do Radomia i Wielkopolski. Istotnym czynnikiem rozwojowym miasta było rzemiosło, które już w 1555 otrzymało prawo zrzeszania się w cechy.

W latach 1566–1575 prebendarzem miejscowej parafii był Jan Kochanowski.

W wyniku potopu szwedzkiego Zwoleń poniósł ogromne straty materialne i ludzkie, które zaważyły na jego dalszych losach i spowodowały, że miasto nie powróciło już do dawnej świetności. Po upadku insurekcji kościuszkowskiej i III rozbiorze Polski miasto weszło w skład zaboru austriackiego. W 1808 przebywał tu, wraz ze swym sztabem, książę Józef Poniatowski. W 1813 roku do Zwolenia wkroczyły wojska rosyjskie. Po likwidacji Księstwa Warszawskiego i utworzeniu w 1815 rosyjskiego Królestwa Polskiego, wchodzącego w skład Imperium Rosyjskiego, Zwoleń wszedł w jego skład, w wyniku czego znalazł się w zaborze rosyjskim. W 1844 r. władze rosyjskie utworzyły gubernię radomską, w skład której wszedł Zwoleń.