Próby uniezależnienia się wobec Królestwa Polski i wrogo prowadzona polityka niemieckich zakonów spowodowała karny najazd króla Władysława Jagiełły (1407 r.), podczas którego, po kilkudniowym oblężeniu rycerstwo polskie zdobyło zamek. Joannici po 50-letnim zajmowaniu twierdzy zostali wypędzeni.
Zamek rozpoczął pełnić funkcję siedziby polskiego starostwa grodowego. W 1422 r. starostą, z nadania króla Władysława Warneńczyka został Jan Wedel. Po nim, w czasie wojny trzynastoletniej z zakonem krzyżackim (1454–1466) funkcję sprawował Sędziwój Czarnkowski z Człopy. Zwycięstwo Polaków i postanowienia II pokoju toruńskiego osłabiło plany Zakonu połączenia się z Nową Marchią. Ta została sprzedana Brandenburczykom. Zamek drahimski z roli strategicznej twierdzy zszedł do roli siedziby okręgu administracyjnego, gdzie granice starostwa drahimskiego pokrywały się z granicami Królestwa. Taki stan trwał niemal 200 lat. Podczas II wojny północnej (Potop szwedzki (1655–1660)) zamek został przejęty czasowo przez wojska szwedzkie, następnie opanowany przez oddziały Stefana Czarnieckiego. W 1657 r., na mocy traktatów: welawskiego i bydgoskiego – król Jan Kazimierz postanowił oddać zamek (w zastaw), ponieważ był winien zapłaty elektorowi brandenburskiemu za werbunki na sumę 120 tysięcy talarów reńskich.