Sprawa prawa do zamku stała się głośna poza granicami księstwa, a proces toczył się nawet na soborze w Konstancji. Mimo interwencji cesarza Zygmunta Luksemburskiego sprawa nie została rozstrzygnięta. Dopiero w 1436 roku kapituła odzyskała zamek, ale wkrótce znowu musiała go zastawić, tym razem hrabiemu Otto von Ebersteinowi z Nowogardu, Ludwikowi z Maszewa i Kurtowi Flemmingowi, aby uwolnić pojmanego biskupa Henninga Ivena w trakcie walk ze Schliefenami z Kołobrzegu, wspieranymi przez księstwo meklemburskie. W 1454 roku na zamku odbył się synod biskupi. Do 1500 roku kapituła i biskup spłacili długi, a do czasu sekularyzacji dóbr kościelnych w 1810 roku zamek pozostawał własnością kapituły, służąc biskupom jako letnia rezydencja. W okresie po 1534 roku zamek wszedł w skład dóbr książęcych.

W roku 1637 na zamku w Golczewie zamieszkał ostatni protestancki biskup kamieński, Ernest Bogusław de Croy. W rezydencji biskupów kamieńskich w Golczewie, 6 listopada 1669 roku, podpisał akt fundacyjny organów dla katedry kamieńskiej, finansując budowę nowych organów na własny koszt. Po jego śmierci w 1684 roku, na podstawie umowy z 1650 roku z Wielkim Elektorem, zamek przeszedł w posiadanie Brandenburgii, a władze Golczewa zarządzały nim.