Nowe domy, podobnie jak „Dom Zakonny”, wykorzystywały mury obwodowe zamku. Niewielkie zniszczenia przyniosła warowni wojna trzydziestoletnia (1618–1648). W 1637 roku po bezpotomnej śmierci Bogusława XIV, ostatniego księcia zachodniopomorskiego, zamek wraz z resztą ziemi bytowsko-lęborskiej został włączony do Królestwa Polskiego. Od tego czasu pełnił funkcję siedziby starosty królewskiego. thumb|700px|center|Dziedziniec zamku
W czasie wojny polsko-szwedzkiej (1655–1660) zburzona została Wieża Prochowa, a zamek spłonął i pozostały tylko mury zewnętrzne. W 1657 roku na mocy traktatów welawsko-bydgoskich zamek został przejęty przez Brandenburgię (od 1701 Królestwo Prus), mimo że formalnie było to lenno Polski. Po zniszczeniach częściowo został odbudowany przez elektora brandenburskiego Fryderyka Wilhelma I (pierwsza połowa XVIII wieku). W 1681 roku dobudowano przy północno-wschodnim murze (między bramą wjazdową a „Domem Książęcym”) budynek na potrzeby urzędu podatkowego i sądu. W XVIII wieku rozebrana została Kancelaria Książęca i Wieża Bramna, a most nad fosą zastąpiono groblą. Wykonano niwelację ziemnych wałów i bastionów. Po I rozbiorze Polski znalazł się pod zaborem pruskim. W XIX w. umieszczono w zamku sąd i pruskie więzienie. Pierwsze prace konserwatorskie przeprowadzono w latach 1930–1939.