Największy rozkwit miasta przypadł w wieki XV i XVI. Zawichost położony był w tym czasie na szlaku handlowym prowadzącym z Krakowa na Litwę i Ruś. Miasto korzystało z ceł pobieranych od towarów spławianych na Wiśle. Rozwijało się rzemiosło (m.in. piwowarstwo). W 1564 w mieście znajdował się ratusz, łaźnia, słodownia, 4 jatki rzeźnicze oraz 126 domów.
Zawichost został zniszczony podczas potopu szwedzkiego w 1655 i najazdu Rakoczego w 1657. Najeźdźcy spalili wówczas zamek, którego nieodbudowane mury runęły do Wisły w 1813, podczas wielkiej powodzi. W 1666 miasto nawiedził ogromny pożar i zaraza – nieszczęścia, które uśmierciły większość mieszkańców. Ich ciała pochowano prawdopodobnie na niewielkim wzgórzu w południowej części miasta, na którym stoi dziś żelazny krzyż, a obok betonowy austriacki bunkier z I wojny światowej. Po tych wydarzeniach miasto podupadło. Jego problemy pogłębiły się po rozbiorach Polski, po których Zawichost stał się miastem pogranicznym.
Na początku XVIII w. w pobliżu Zawichostu powstało miasto Starostów (przemianowane później na Prosperów), zamieszkane głównie przez Żydów. W 1820 zostało przyłączone do Zawichostu. Ustalił się wówczas podział na położone przy Wiśle „polskie miasto” i oddalone nieco od rzeki „żydowskie miasto”. Granicę wyznaczał murowany krzyż stojący przy dzisiejszej ul.