Między 1481 a 1483 rokiem, w ostatnich latach panowania Edwarda IV, zamek przeszedł na własność korony. Henryk VII podarował posiadłość swojej matce, Małgorzacie Beaufort, która nigdy w tym miejscu nie zamieszkała. W latach 1525–1536 zamek należał zaś do Henryka FitzRoya, nieślubnego syna Henryka VIII. W 1537 roku Henryk VIII nadał zamek Charlesowi Brandonowi, księciu Suffolk w podzięce za udział w stłumieniu powstania ludowego na terenie hrabstwa Lincolnshire.
Od 1573 lub 1574 roku zamek był miejscem zamieszkania kolejnych z rodu Clinton. Przez większą część angielskiej wojny domowej (1642–1651) znajdował się pod kontrolą zwolenników parlamentu (zaliczał się do nich ówczesny hrabia Lincoln, ). W 1643 roku zamek został zdobyty na kilka miesięcy, prawdopodobnie bez walki, przez wojska rojalistów. W ostatnich latach konfliktu parlament nakazał zburzenie zamku, podobnie jak i wielu innych w całym kraju, by zapobiec wykorzystaniu go jako ośrodka zbrojnego oporu. Mury i większa część zabudowań zostały zniszczone, prawdopodobnie w 1650 roku, jednak dzięki staraniom Clintona bez większych szkód ocalał donżon.
Zamek został opuszczony w 1693 roku, gdy przeszedł na własność rodu Fortescue. Wkrótce popadł w ruinę, natomiast jego teren dzierżawiony był pod działalność rolną.