W 1648 roku oddział Kozaków Chmielnickiego splądrował i częściowo spalił Grabowiec, ale nie zdobył zamku, natomiast Szwedzi, którzy pojawili się w miasteczku w 1655 r., prawdopodobnie także nie zdobyli warowni. Na sejmie w 1655 r. podjęto decyzję o odbudowie zamku. Zrealizował ją w latach 1655–1658 starosta grabowiecki Stanisław Sarbiewski. Konstytucja sejmowa z 1658 r. poleciła uzbroić zamek w „armatę porządną i amunicję” a mieszczanie grabowieccy byli zobowiązani do utrzymania w dobrym stanie wałów i w tym celu musieli wozić drewno dwa razy do roku „na poprawę zamku”. Z opisu z 1662 roku wynika, że dolna kondygnacja głównego budynku zamkowego miała sklepione pomieszczania, przy czym w jednym z tych pomieszczeń przechowywano księgi ziemskie, w drugim księgi grodzkie. Zniszczenia zamku dokonały wojska saskie gen. Saysona w 1716 r. podczas wojny północnej. Od tej pory obiekt chylił się ku upadkowi. W 1765 roku lustratorzy królewscy opisali, że zamek jest w ruinie: „zamczysko stare na górze nad miastem w wałach starych opadłych”, w nim wieża ze sklepionym pomieszczeniem do przechowywania ksiąg ziemskich i grodzkich, której mury już porozpadały się znacznie, obok rezydencja drewniana starosty składająca się z trzech sal i naprzeciwko rezydencji kuchnia z izdebką oraz stajnia z wozownią. Król Stanisław August Poniatowski w 1765 r.