Przede wszystkim przyczynił się do tego rozwój Węgrowa na drugim brzegu rzeki oraz wojny prowadzone przez Rzeczpospolitą z państwami ościennymi. Duże znaczenie dla upadku miasta miała ogólnoeuropejska sytuacja gospodarcza na rynku zboża. Miasto wyludniło się podczas potopu szwedzkiego. W latach 1631 i 1652 wybuchła w mieście zaraza. Zostało spalone w 1657 r. przez wojska księcia siedmiogrodzkiego. Zdewastowano także kościół św. Ducha w Nowym Liwie oraz usytuowaną na przedmieściach kaplicę św. Leonarda z XV wieku. Miasto tak podupadło, że sejm w Grodnie w 1678 roku, by wzmocnić jego gospodarkę, wyznaczył w Liwie dwa jarmarki, w poniedziałek starozapustny i w Boże Ciało. Kolejne pożary z 1700 i 1703 r. wywołali Szwedzi, którzy również zburzyli zamek i większość zabudowy. W 1762 r. w zatargu władz miejskich z kościołem o dziesięcinę nałożono na miasto ekskomunikę.