Z jednego z okien zamkowych obserwował przez lunetę kolumnę wycofujących się Rosjan, wściekły, że nie udało się ich rozbić i zakończyć wojny z IV koalicją. Na zamku urządzono wówczas funkcjonujący tam aż do roku 1815 wojskowy lazaret, co doprowadziło do znacznej dewastacji pomieszczeń. Ze zniszczeń tych odbudowano zamek w latach 1817–1824 staraniem biskupa Adama Michała Prażmowskiego. Dzieła tego dokonał architekt Antoni Piotrowski. Zamek ponownie został uszkodzony przez pożar w roku 1841. Mimo że spłonęła wówczas większa część dachów, zamek ponownie udało się odbudować. Biskupi płoccy mieszkali tu jeszcze do roku 1852, jako ostatni rezydował tutaj Franciszek Pawłowski. Władztwo nad zamkiem utracili biskupi w 1866 r. na mocy zarządzenia władz rosyjskich. Potem mieścił się w nim ponownie szpital wojskowy. 11 listopada 1918 członkowie Polskiej Organizacji Wojskowej pod dowództwem Józefa Nodzykowskiego, ps. Mazur i Franciszka Słomińskiego, ps. Słomka opanowali zamek, w którym mieściło się niemieckie starostwo.
Po odzyskaniu niepodległości w 1918 roku budowla stała się siedzibą władz powiatowych i funkcje te pełniła do 1975 roku.