Historia thumb|left|Pomnik Kazimierza III Wielkiego thumb|Droga krzyżowa z widocznym w tle Kościołem Narodzenia Najświętszej Maryi Panny Pierwsze ślady działalności ludzkiej w rejonie Rajgrodu pochodzą z około 9000–7000 roku p.n.e. Nad jeziorem Dręstwo znaleziono szkielety ludzi kromaniońskich. W średniowieczu na wyspie, gdzie wznosiło się wzgórze, Jaćwingowie założyli osadę Raj, która była siedzibą plemienia jaćwieskiego – Zlinców. Leżała ona szlaku handlowym wiodącym z Mazowsza w głąb ziem jaćwieskich.
Po śmierci księcia płockiego Bolesława III w 1351 roku ziemia wiska (a w tym teren Rajgrodu) została odziedziczona przez króla Kazimierza Wielkiego. Król w 1355 roku przekazał ziemię wiską i Rajgród na trzy lata Siemowitowi III (odpowiedni dokument książę Siemowit wystawił w Kaliszu 27 XII 1355 r.). W 1358 na mocy zawartej w Grodnie umowy Mazowsza z Litwą potwierdzono przynależność ziem, na których leży Rajgród do Mazowsza. Według Wiganda z Marburga w 1360 roku król Kazimierz Wielki nakazał budowę w Rajgrodzie zamku Rongart, który nie został wtedy ukończony z powodu zniszczenia go w tym samym roku przez Krzyżaków, którzy twierdzili, że ta część terenów po Jaćwingach powinna należeć do państwa Zakonu Krzyżackiego.