Znaczne zniszczenia zabudowy odnotowano po opuszczeniu zamku przez wojska szwedzkie w 1636 roku. Stajnie utraciły dachy, uszkodzono część mniejszych budynków i Basztę Prochową. Zabudowania były później naprawiane; jeszcze w 1765 roku stajnie mogły służyć koniom królewskim. Teren karwanu pozostawał częścią domeny królewskiej do I rozbioru Polski w 1772 roku.
W XIX wieku dawny magazyn utracił pierwotną funkcję. Około 1840 roku przekształcono jego górną część i dach, a budynek wykorzystywano jako magazyn soli. W latach 1888–1889 został poddany restauracji prowadzonej przez Conrada Steinbrechta, podczas której przywrócono mu średniowieczną formę architektoniczną.
Badania archeologiczne Badania archeologiczno-architektoniczne prowadzone w latach 1987–1991 potwierdziły w dużym stopniu układ zespołu znany z inwentarzy i nowożytnej ikonografii. Odsłonięto m.in. relikty domu zarządcy, stajni i innych zabudowań oraz rozpoznano średniowieczne poziomy użytkowe głównego magazynu.