W następnych latach budynek wielokrotnie rozbierano, aż do tego stopnia, że po ostatniej rozbiórce, przeprowadzonej w latach 1939 – 1940, zachowało się tylko istniejące do dziś wschodnie skrzydło budynku.
Historia najnowsza Druga połowa XIX wieku to okres niekończących się epidemii, z których najgroźniejsza była epidemia cholery, dziesiątkująca społeczeństwo od 1852 roku. W związku z gwałtownym rozprzestrzenianiem się choroby, rzymscy katolicy z Żychlina przyszli prosić Maryję w znajdującym się w kościele wizerunku Matki Boskiej Suserskiej o ocalenie. W końcu epidemia ustąpiła. W związku z czym złożyli oni ślubowanie, iż w podzięce będą pielgrzymować do Suserza zawsze dnia 15 sierpnia przez następne 100 lat.
Kolejnym okresem w dziejach obecnej gminy Szczawin Kościelny był okres rewolucji 1905 – 1907. Podczas walk rewolucyjnych zasłynął Zygmunt Sobociński, który dowodził organizacją SDKPiL w Gostyninie, prowadzącą działalność agitacyjną we wsiach i folwarkach, a także wśród wojska carskiego stacjonującego w Gostyninie, czego konsekwencją były następujące wydarzenia w 1905 roku: