W latach 1686–1701 zbudowano zachodnie skrzydło klasztorne z nowym refektarzem (później więzienie, obecnie muzeum). W 1704 roku, podczas III wojny północnej klasztor ponownie został zajęty przez wojska szwedzkie. W październiku 1777 roku gotycko-barokowy kościół i klasztor spłonęły w pożarze. Wkrótce przystąpiono do budowy trzeciego kościoła w stylu barokowo-klasycystycznym, który wybudowano w latach 1781-1789 i konsekrowano w 1806 r.
W 1819 roku dnia 6 czerwca nastąpiła supresja klasztorów w Polsce na mocy bulli Piusa VII z dnia 30 czerwca 1818 roku. Dnia 29 maja roku 1819 delegaci komisji województwa sandomierskiego stawili się na Św. Krzyżu przedstawiając dekret arcybiskupa Malczewskiego delegata apostolskiego w sprawie okupacji i suprymacji klasztoru. W latach 1852–1865 mieścił się tu dom poprawczy dla tzw. Księży Zdrożnych. W styczniu 1863 roku w opactwie stacjonowali powstańcy styczniowi.