Dojście do zamku, otoczonego pasem murów obronnych i fosą, prowadziło od strony Łyny mostem zwodzonym.
W latach 20. XIV wieku kolonizacja warmińska dotarła do północnych granic Galindii. Warmia była jednak wówczas nękana przez najazdy Litwinów. W roku 1334 warmiński wójt krajowy Henryk von Luter założył na terenie ziemi Bertingen drewniano-ziemną strażnicę, która miała chronić osadników przed najazdami litewskimi. Zameczek ten znajdował się na wzniesieniu nad jeziorem Bartąg między obecnymi wsiami Bartążek i Bartąg (dziś teren szklarni w Bartążku). We wrześniu 2025 archeolodzy ogłosili odkrycie pozostałości jego zaplecza.
W latach 30. i 40. XIV wieku kapituła warmińska pod osłoną strażnicy w Bartążku zasiedlała ziemie nad górną Łyną, które utworzyły komornictwo olsztyńskie. Około 1345 roku lub krótko potem kolejny wójt warmiński Bruno von Luter rozpoczął budowę nowego murowanego zamku, który zlokalizowano w zupełnie nowym miejscu, około 9 km na północ od starej strażnicy. Zamek powstał w dogodnym pod względem obronnym zakolu Łyny, w północnej części ziemi Bertingen, przy jej granicy z ziemią Gudikus, w samym środku nowego komornictwa olsztyńskiego.