Miasto wybudowano na planie prostokąta z centralnym rynkiem. W części północno-wschodniej zlokalizowany został kościół farny pod wezwaniem św. Anny, a w części południowo-wschodniej kościół franciszkański św. Andrzeja. Na północ od kościoła farnego zlokalizowany był zamek biskupi, w którym rezydował burgrabia zarządzający jednym z komornictw Księstwa Warmińskiego. Funkcję burgrabiego pełnił m.in. Bartosz Kromer – brat biskupa Marcina Kromera. Miasto posiadało dwie bramy miejskie: Olsztyńską i Jeziorańską oraz Furtę Zamkową. Parafia w ówczesnym Wartemborku przed reformacją należała do archiprezbiteratu w Jezioranach. W 1440 miasto przystąpiło do antykrzyżackiego Związku Pruskiego, na prośbę którego w 1454 król Kazimierz IV Jagiellończyk ogłosił wcielenie regionu z miastem do Królestwa Polskiego. W czasie wojny trzynastoletniej w 1455 zaciężne wojska krzyżackie zajęły miasto.