W 1782 ponowny pożar zamku dokonał dalszych zniszczeń. Od 1840, kiedy to przeszedł w prywatne ręce, odbudowano skrzydło południowo-zachodnie i wieżę bramną. W 1860 przebudowano górną kondygnację skrzydła południowego w stylu neogotyckim wg projektu Oliviera Pavelta, a także nadbudowano wieżę na przedzamczu i rozebrano kaplicę na przedzamczu. W 1903 roku zamek przejęło państwo pruskie. 3 listopada 1908 w odbudowanych budynkach wybuchł kolejny dotkliwy pożar, który zniszczył pokrycie dachowe. W 1911 przeprowadzono rekonstrukcję według projektu Conrada Steinbrechta. Założono nowe sklepienia krzyżowe w refektarzu, zbudowano fachwerkową ścianę wewnętrzną refektarza oraz dach skrzydła zachodniego.
1920–1945 W 1929 zamek został wydzierżawiony przez bpa chełmińskiego Stanisława Okoniewskiego, który w 1933 kupił go na potrzeby diecezji. Podczas dalszych prac remontowo-budowlanych zrekonstruowano skrzydło zachodnie, zamurowano arkady krużganka w skrzydle południowym. W 1936 w obecności prymasa Augusta Hlonda, wojewody Władysława Raczkiewicza, generałów Bortnowskiego i Wiktor Thommée, a także prezydenta Torunia – Leona Raszei dokonano na terenie zamku otwarcia Domu Rekolekcyjnego. W latach 1939–1945 ośrodek szkoleniowy NSDAP.