W tym czasie dochodzi do sporu między Węgierskimi a obywatelami Wysokiego dotyczącego ustroju miasta, w tym kwestii utrzymania burmistrza. W 1814 roku, po bezpotomnej śmierci Michała Węgierskiego, doszło do podziału dóbr Wysokie na dwie równie części między jego siostrę Konstancję Węgierską a ich kuzynów. W 1821 roku dziedzicem Wysokiego był Adam Węgierski, który wykupił udziały innych członków swojej rodziny. Po jego śmierci w 1829 roku dobra Wysokie przypadły jego dzieciom: Ludwikowi Węgierskiemu (1802–1846) oraz Róży (1804–1872), zamężnej z Ludwikiem Fiszerem (1800–1877). W 1839 roku Ludwik Węgierski sprzedał swoją część Wysokiego szwagrowi. Do Ludwika Fiszera należały również okoliczne lasyA. Połujański, Opisanie lasów Królestwa Polskiego i gubernij zachodnich Cesarstwa Rossyjskiego: pod względem historycznym, statystycznym i gospodarczym, Tom I. Warszawa 1854 r. s. 340. – dostępna na Google books.. Fiszerowie władali Wysokiem do 1864 rokuW. Konończuk, W kręgu dworu Branickich – podlaska gałąź rodu Węgierskich herbu Wieniawa, w: Bielski Almanach Historyczny, Bielsk Podlaski 2016, s. 32–33, 36..
W połowie XIX wieku następuje ponowne ożywienie rynku targowego oraz 5 ulic: Długiej, Dworskiej, Zarzecznej, Mystkowskiej, Kościelnej.