lewo|mały|200x200px|Fragment podmurówki, w tle wieża bramna – jedyne pozostałości po obiektach szkoły Do 1340 roku murowany zamek w Braniewie był główną rezydencją biskupów warmińskich, a także siedzibą władz administracyjnych zarządzających domeną biskupią oraz komornictwem braniewskim. W 1340 roku biskup Herman z Pragi przeniósł siedzibę biskupa do Ornety. Następnie obiekt zmieniał lokatorów i właścicieli. Budowla wielokrotnie cierpiała w czasie toczonych na przestrzeni stuleci wojen, gdyż zamek położony przy murach miejskich spełniał również funkcje obronne.
Po przekazaniu w 1811 przez władze pruskie (Braniewo w 1772, tj. po pierwszym rozbiorze, znalazło się pod panowaniem pruskim) zamku biskupiego na szkołę, zaczęto dostosowywać obiekt do potrzeb edukacyjnych, m.in. przekuto w murach prostokątne otwory okienne. W 1865 cały teren dawnego zamku biskupiego włączono w granice administracyjne miasta, gdyż do tej pory stanowił on odrębną jednostkę administracyjną.