Szybki rozwój osiedli wokół zamku i w efekcie wykształcenie się organizmu miejskiego doprowadziły w 1326 do nadania osadzie przez Dietricha von Altenburg przywileju lokacyjnego. Lokował on miasto na lewym brzegu rzeki, w pobliżu zamku, nadając mu nazwę Rosenthal – co tłumaczy się jako Dolina Róż. Jednak 6 lat później, 17 lutego 1332, Wielki Mistrz Zakonu Luther von Braunschweig przeniósł lokację miasta na prawy brzeg Łyny i nadał mu funkcjonującą wcześniej nazwę Bartenstein.
Przez kolejny okres bartoszycki zamek nie odgrywał istotniejszej roli ani w strukturze państwa krzyżackiego, ani w obrębie komturii. Może o tym świadczyć zachowany spis inwentarza zamkowego z 1412, według którego artyleria zamkowa liczyła 4 działa.
Mieszczanie Bartoszyc w 1440 przystąpili do anty-krzyżackiego Związku Pruskiego co podzieliło społeczeństwo miasta. Po 6 latach wystąpiono ze Związku Pruskiego, co jednak nie zahamowało niepokojów, czego efektem był ponowny bunt mieszczan przeciwko Krzyżakom w 1454 roku. W lutym tegoż roku mieszczanie zniszczyli doszczętnie zamek.