W 1529 roku z inicjatywy królowej Bony został wydany wyrok królewski „uwalniający” szlachtę rajgrodzką i goniądzką spod władzy Radziwiłłów.
W 1566 r. nastąpiła nowa lokacja miastaPiotr Skurzyński: Warmia, Mazury, Suwalszczyzna. Warszawa: Wyd. Sport i Turystyka - Muza S.A., 2004, s. 321. ., prawa miejskie Rajgród otrzymał w 1568 roku od wojewodziny Anny z Radziwiłłów Kiszczyny. Po unii lubelskiej w 1569 roku włączono go wraz z całym województwem podlaskim do Korony Królestwa Polskiego. W 1570 roku Anna Kiszczyna zapisała dobra rajgrodzkie i goniądzkie królowi Zygmuntowi Augustowi, w związku z czym Rajgród stał się miastem królewskim i siedzibą starosty, którym został Marcin Dulski. Około 1602 roku w zachodniej części wzgórza zamkowego wzniesiono „dwór wielki”, w którym prawdopodobnie mieściła się siedziba i urząd starosty. Budynek ten istniał do około połowy XVII wieku, a jego fundamenty były widoczne jeszcze w końcu XIX wieku. Badania archeologiczne potwierdziły związek Góry Zamkowej z okresem funkcjonowania na niej siedziby starostów rajgrodzkich, wywodzących się z rodziny Dulskich herbu Przegonia. Pierwszym starostą utworzonych z dóbr Goniądza i Rajgrodu starostw rajgrodzkiego i augustowskiego był od 1571 r. Marcin Dulski, ożeniony ze Szczęsną z Rożnowa. Po nim starostwo w 1597 r.