W trakcie reformacji przeszedł do domeny dóbr koronnych. W okresie od 1536 do 1664 był użytkowany jako więzienie dla szlachty i kleru. W dużej wieży, w północno-wschodnim narożniku więzienne cele zostały wykonane i wyposażone w toalety i okna - osoby były tam przetrzymywane w zależności od stosunku do króla i rodzaju popełnionych przestępstw. Jednym z więźniów zamku był ostatni biskup katolicki w Roskilde, Joachim Rønnow, czwarty mąż Maria II Stuart.
Podczas wojen Karola Gustawa zamek wysadzono i popadł on potem w ruinę. Z czasem został przekazany kupcowi Heinrichowi Müllerowi, który rozpoczął jego odbudowę w ramach spłaty długu wobec króla. W 1694 sprzedano go szlachcicowi Frederikowi Christianowi Adelerowi i wtedy został ostatecznie odbudowany w istniejących do dziś formach barokowych. Przez kilka pokoleń pozostawał w rękach rodziny Adelerów, aż do zakończenia się tej linii rodu w 1932, kiedy to przeszedł na własność Central jordbestyrelse, który z kolei sprzedał go (wraz z częścią dóbr) J.F. Bøttgerowi.
Barokowy styl elewacji pozostał nienaruszony, natomiast wnętrza wielokrotnie przebudowywano (ostatni raz w 1919, kiedy to części pomieszczeń nadano styl nawiązujący do romantyzmu).