Kronikarz wspominał także pruską nazwę tego miejsca – Tuwangste – oraz określał pierwotną lokalizację jako „Stary Zamek”.
W 1257 roku dokonano podziału pierwotnego terenu zamkowego pomiędzy zakon a biskupa sambijskiego. Krzyżacy mieli przenieść swoją siedzibę w inne miejsce. Rok później zawarto kolejną umowę, na mocy której biskup zachowywał jedną trzecią dawnego obszaru zamku, natomiast zakon mógł zabrać materiały budowlane z pozostałej części. Z tym okresem wiąże się najprawdopodobniej przeniesienie siedziby krzyżackiej na miejsce późniejszego zasadniczego zespołu zamkowego.
W latach 1260–1262 zamek był bezskutecznie oblegany przez Prusów, którzy używali machin oblężniczych. Podczas walk zniszczona została rozwijająca się przy warowni osada, jednak sam zamek nie został zdobyty. W 1263 roku, po dokonanym wcześniej podziale terenów, biskup sambijski przekazał zakonowi swoją siedzibę położoną przy istniejących już murach krzyżackiej warowni.
W latach 1274–1292, za rządów wójta sambijskiego Dietricha von Liedelau, od północnej strony zespołu wzniesiono murowaną basztę. Budowę upamiętniała inskrypcja umieszczona na jej fasadzie.