Główna wieża zamkowa mogła znajdować się w narożniku północno-zachodnim, obok domu zamkowegoLeszek Kajzer, Zamek i… więzienie, [w:] Spotkania z zabytkami, rok 17, nr 9 (79), wrzesień 1993, s. 30-31.. Potwierdza to lustracja z 1564-1565 roku i rycina Erika Dahlberga z 1657 roku. Mury zamkowe były połączone z miejskimi murami obronnymi. Droga do zamku prowadziła od północy, a więc od strony miasta przez otoczony parkanem przygródek ze stajnią z szachulca i dom masztalerski. Przygródek oddzielał od zamku szeroki do 23 metrów przekop, nad którym był zbudowany drewniany most. Po okresie rządów starosty Mikołaja z Brudzewa (starosta 1455-1494) zamek w 1494 roku został opisany jako zrujnowany (...in castro omnia sunt ruinosa...). Po 1563 roku starostowie brzescy Sebastian Mielecki (starosta w latach 1563-1572) oraz jego brat Hieronim Mielecki (zm. 1588), wyremontowali i rozbudowali zamek wznosząc nowe budynki we wschodniej części dziedzińca.