W kolejnych dwóch wiekach zamek, wraz z przyległym majątkiem, często zmieniał właścicieli, będąc źródłem ciągłych długów, sporów, zastawów i procesów.
W owym czasie do klucza golczewskiego należały również Drzewica, Kłęby, Unibórz, Niemica, Upadły, Gadom oraz nieco dalej położone Przybiernów, Miodowice i Zabierzewo.
Trudności finansowe biskupa Johanna I zostały rozwiązane poprzez zastawienie zamku golczewskiego kapitule katedralnej w 1363 roku. W 1385 roku biskup Filip von Rehberg odebrał zastaw od kapituły, przekazując go zaufanemu archidiakonowi, Filipowi von Helpte z Uznamia. Ten spłacił część długów biskupa, jednak pierwsi wierzyciele, Flemmingowie, zrezygnowali w 1402 roku z roszczeń do 6000 marek pożyczonych biskupowi, w zamian za przejęcie zamku w Golczewie. W 1406 roku zamek został sprzedany księciu Bogusławowi VIII, który był pretendentem do tronu biskupiego, za dwukrotnie wyższą cenę. W ten sposób Golczewo stało się własnością konkurencyjnego biskupa, który toczył spory z biskupem od 1392 roku do swojej śmierci w 1417 roku.