W 1775 roku dobra te należały do Jana Potockiego.
Podczas najazdu szwedzkiego, miasto zostało prawie całkowicie zniszczone. W XVIII wieku następuje powolna odbudowa miasta. Przywilej Stanisława II Augusta z 24 maja 1780 roku nadaje dobrom Wysokie Mazowieckie będącym w posiadaniu Andrzeja Piotrowskiego, pozwolenie na odbywanie się jarmarków na św. Rocha, św. Antoniego, św. Andrzeja i św. Annę. thumb|upright=1.3|Wysokie Mazowieckie na fragmencie mapy Nowych Prus Wschodnich z 1795 roku thumb|upright|Plan Folwarku Zawrocie z 1899 r. (ul. Białostocka) W kolejnych latach Wysokie znajdowało się w posiadaniu Ignacego Pudłowskiego, cześnika podlaskiego, od którego 18 maja 1789 roku zakupiła je Aniela WęgierskaW. Konończuk, W kręgu dworu Branickich – podlaska gałąź rodu Węgierskich herbu Wieniawa, w: Bielski Almanach Historyczny, Bielsk Podlaski 2016, s. 29.. Około 1800 roku liczba mieszkańców wynosiła 864 mieszkańców (o 4 więcej niż w 1580), a liczba budynków wynosiła 134 (o 9 mniej niż w 1580 roku). Około 1801 roku dobra Wysokie wraz z okolicznymi wsiami Osipy, Mścichy, Zawrocie, Gołasze-Puszcza, Mystki-Rzym (łącznie około 5 tys. ha) objął jej wnuk, Michał Węgierski, żonaty z Justyną Wielopolską (ciotką Aleksandra Wielopolskiego).