W roku 1304 biskupstwo zakupiło Golczewo. W późniejszym czasie teren diecezji był niszczony najazdami brandenburczyków. W 1308 biskup Henryk von Wacholz uciekł nawet na jakiś czas do zamku w Golczewie, a w planach miał zamiar przenieść siedzibę biskupstwa do klasztoru w Białobokach lub do Kołobrzegu. Spotkało się to ze zdecydowanym sprzeciwem kamieńskiej rady miejskiej i . Poparł ich przy tym papież Jan XXII, który decyzją z 14 stycznia 1333 roku zabronił zmiany stolicy. W 1321 roku cały Kamień Pomorski stał się własnością biskupów kamieńskich. Nabyli oni również całą ziemię kamieńską wraz z prawem tzw. wyższej własności. Od tej pory sprawowali niezależną władzę zwierzchnią. W latach 30. XIV wieku rozpoczęły się ożywione kontakty mieszczaństwa z osiedlem katedralnym, rozpoczęto rozbudowę osiedla katedralnego, wznoszenie domów kanonickich, rozbudowano katedrę i dom biskupi, otworzono mennicę.