Podczas oblężenia Charleston w 1780 roku, Gadsden nalegał, aby Armia Kontynentalna pozostała w mieście i skapitulowała. Przez dziesięć miesięcy był więziony w St. Augustine na Florydzie. Pozostawał zamknięty w lochach Castillo de San Marcos przez 42 tygodnie, cierpiąc z powodu złej diety.
Późniejsze życie i śmierć Po dziesięciu miesiącach więzienia w St. Augustine, Gadsden powrócił do Karoliny Południowej, aby odbudować swoje interesy, które ucierpiały podczas wojny. Był członkiem Zgromadzenia Jacksonborough (ang. Jacksonborough Assembly), a kiedy w 1782 roku gubernator John Rutledge złożył swój mandat, Gadsden został wybrany gubernatorem Karoliny Południowej, lecz odmówił powołując się na słaby stan zdrowia. W 1788 roku głosował za ratyfikacją Konstytucji Stanów Zjednoczonych.
Gadsden zmarł 28 sierpnia 1805 roku w wyniku urazów głowy odniesionych podczas upadku w pobliżu swojego domu. 15 września 1805 roku został pochowany na cmentarzu św. Filipa w Charleston.
Handel niewolnikami Będąc kupcem, Gadsden zajmował się także handlem niewolnikami, jednocześnie wypowiadając się przeciwko samemu niewolnictwu.