Pierwsza pewna wzmianka o Rajgrodzie pochodzi z 1429 roku z aktu sprzedaży przez Mikołaja z Rajgrodu dóbr w ziemi wiskiej jego bracie – Janie. W XIV/XV wieku pod grodem w Rajgrodzie zaczęła rozwijać się osada, w której istniał drewniany kościół i cmentarz (w miejscu obecnej szkoły). Pierwszymi mieszkańcami osady byli mazowieccy bartnicy i rybacy z GoniądzaSzkice z dziejów kolonizacji Podlasia i Grodzieńszczyzny od XIV do XVI wieku, Wyd. Uniw. W-M, Olsztyn 2002, s. 41, .. Na mocy pokoju w Melnie w 1422 roku Rajgród przeszedł z Mazowsza do Wielkiego Księstwa Litewskiego. Pierwszym źródłowo poświadczonym plebanem w Rajgrodzie był w 1485 r. ksiądz Adam Szczuka, poprzednio wikary wąsoski.
Około 1505 roku tereny te król Aleksander Jagiellończyk nadał Michałowi Glińskiemu, a w 1509 król Zygmunt I Stary nadał dobra rajgrodzkie i goniądzkie wojewodzie Mikołajowi Radziwiłłowi, co stało się początkiem istnienia na tym terenie tzw. „państwa Radziwiłłów”. W tym okresie Rajgród jest uznawany za przynależny do ziemi bielskiej. W 1519 r. Mikołaj Radziwiłł na prośbę plebana Stanisława Wilka wydał nowy przywilej fundacyjny dla kościoła w Rajgrodzie, ponieważ stary został zagubiony. W 1520 r. miał miejsce najazd Krzyżaków, którzy poważnie zniszczyli zabudowę miasta.