Kościół przedłużono ku zachodowi i z tamtej strony dodano wieżę z ażurowym hełmem – niewysoką, ale znakomicie ożywiająca panoramę miasta. Do furty od strony dziedzińca po 1766 r. dobudowano rezydencję ksieni. Cały zespół od strony miasta otoczono murem z figurami świętych.
Pod zaborami Klasztor został skasowany przez władze pruskie w 1810 r., choć mniszki pozostały w nim aż do 1836 r. W międzyczasie, w 1823 r. kościół Św. Ducha przekształcono w ewangelicką świątynię garnizonową. W kolejnych latach rozebrano wieżę, dom kapelanów, krużganki i mur wokół zabudowań. Od 1834 r. mieściło się tu seminarium nauczycielskie, ze szkołą i mieszkaniami nauczycieli. Po zbudowaniu nowego kościoła garnizonowego w 1900 r. kościół przeznaczono dla żołnierzy-katolików.