objął jego syn Piotr Dulski ożeniony z Anną Zofią z Pretficzów herbu Wczele. Przeciwko niemu w 1616 roku z powodu nadmiernego fiskalizmu skargi składali mieszczanie i chłopi. Następnie starostą był syn Piotra - Krzysztof Dulski, pełniący ten urząd w latach 1632-1645. Potem przekazał starostwo augustowskie Fryderykowi Denhoffowi, a starostwo rajgrodzkie posiadał w latach 1645-1665 Inflantczyk Jan Berg, pułkownik królewski. Odtąd starostwo rajgrodzkie stanowiło uposażenie wyższych oficerów królewskich wywodzących się z Inflant. W 1655 najazd wojsk szwedzkich zakończył okres pomyślnego rozwoju. W 1679 roku król Jan III Sobieski potwierdził prawa miejskie magdeburskie i jego przywileje. W XVIII wieku jest wzmiankowana szkoła w Rajgrodzie, a w 1764 roku rozpoczęto budować nowy kościół.
W czasie insurekcji kościuszkowskiej mieszczanie i okoliczna szlachta 10 lipca 1794 roku poniosła porażkę w starciu z wojskami pruskimi. Po III rozbiorze Polski miasto zagarnęło Królestwo Prus i włączyło do Prus Nowowschodnich, a po Traktacie w Tylży w 1807 roku objęło je Księstwo Warszawskie. Od 1815 część Królestwo Kongresowego. W czasie powstania listopadowego w dniu 29 maja 1831 r. pod Rajgrodem odbyła się zwycięska bitwa wojsk polskich pod dowództwem gen. Antoniego Giełguda z Rosjanami.