Spustoszyli też pułtuskie kościoły, a zwłaszcza kolegiatę i kościół oraz klasztor jezuitów.
Odbudowę zrujnowanego zamku podjęto dopiero po 1692 roku, w okresie, kiedy rządy diecezją sprawowało kolejno trzech biskupów z rodu Załuskich, herbu Junosza. Do 1736 roku podniesiono ze zgliszczy Dom Duży, zaś z pozostałości murów Domu Małego zbudowano skrzydło zachodnie, urządzając na jego zamknięciu nową kaplicę. Na wschód od budynku bramnego stanęło natomiast zupełnie nowe, podpiwniczone skrzydło północno-zachodnie. Wnętrza udekorowano sztukaterią i holenderskimi, ręcznie malowanymi płytkami fajansowymi. Płytki te można dziś oglądać w jednej z kaplic kolegiaty. W odnowionych ogrodach powstały pomarańczarnia, figarnia i altana. Nieco później we włoskim ogrodzie wzniesiono domek ogrodnika.
Pod koniec XVIII wieku biskup Hilary Szembek zlecił przebudowanie budynku bramnego w stylu klasycystycznym i dodanie ciągu pomieszczeń parterowych od strony rzeki. W ten sposób zamek otrzymał obecny kształt.