Następnie na mocy wcześniejszych układów gród objął Siemowit III. Od 1379 roku grodem zarządzał Siemowit IV. W grudniu 1382 roku gród w Wiźnie wraz z ziemią wiską został przez księcia Siemowita IV oddany w zastaw Zakonowi krzyżackiemu. W tym czasie rozwijał się teren podgrodzia, na którego terenie powstał około 1390 roku pierwszy drewniany kościół parafialny pod wezwaniem św. Marka. Po spaleniu kościół ten zbudowano na nowo z drewna w 1400 roku i wokół niego powstał cmentarz. W styczniu 1401 roku Siemowit IV wykupił gród w Wiźnie z rąk Krzyżaków.
30 grudnia 1401 roku książę Siemowit IV na mocy umowy zawartej w Błoniu oddał w zastaw warownię w Wiźnie wraz z okolicznym okręgiem swemu bratu, księciu warszawskiemu i ciechanowskiemu Januszowi I Starszemu. W 1409 roku z polecenia księcia Janusza I Starszego powstała potężna dwukondygnacyjna wieża bramna, włączona w obwód wałówRobert Kunkel, Typologia średniowiecznych zamków książęcych i możnowładczych na Mazowszu, [w:] Kronika Zamkowa, 2007, str. 221. Dodatkowo na terenie dziedzińca istniał co najmniej jeden murowany budynek książęcy. Obwód obronny zamku był zbudowany z izbic zespolonych gliną, z czterema drewnianymi basztami (propugnacula). W zwieńczeniu obwodu był ganek obronny. Na wewnętrzną zabudowę składały się trzy piętrowe budynki mieszkalne.