Na zamku w 1367 roku na świat przyszedł jego syn i przyszły król Anglii, Henryk IV Lancaster. Tam też w 1369 roku z powodu zarazy zmarła Blanka.
W XV i XVI wieku zamek pełnił funkcję centrum administracyjnego dla Księstwa Lancaster, choć jego właściciele począwszy od Henryka IV niemalże w ogóle go nie odwiedzali. Fortyfikacje i większość spośród nieużywanych wież zostały wówczas zaniedbane. W użyciu pozostawały tylko strażnica chroniąca bramę oraz wysunięta na południowy zachód Wieża Królewska, która w latach 1444–1456 została przebudowana. Niewielkie naprawy zostały wykonane również za czasów rządów Henryka VIII Tudora, a także na początku XVII stulecia.
We wrześniu 1643 roku, w czasie angielskiej wojny domowej, dowódca rojalistycznej armii William Cavendish umieścił w twierdzy garnizon złożony z 200 żołnierzy. W październiku na okoliczne tereny przybyły siły parlamentarne. 9 października rozpoczęło się oblężenie. Mimo klęski rojalistów 11 października w bitwie pod Winceby garnizon bronił się do 14 listopada. Po zakończeniu wojny domowej, w 1652 roku, podjęto decyzję o zburzeniu większości fortyfikacji, w obawie przed ryzykiem wykorzystania umocnień jako bazy do prowadzenia działań wojennych przez stronnictwa niechętne nowym rządzącym.