19 czerwca 1741 r. karmelici oborscy przystąpili do budowy murowanego, dwupiętrowego budynku klasztornego w kształcie węgielnicy. Zabudowania kościoła i klasztoru stworzyły czworobok, którego dwie strony – północną i zachodnią stanowił klasztor, wschodnią – zakrystia, południową zaś – kościół. Oficjalnie budowę zakończono 7 maja 1753 roku. Wewnątrz zamkniętego czworoboku usytuowany został wirydarz.
Latem 1824 w Oborach przebywał i grał na organach Fryderyk Chopin. Przypomina o tym tablica ufundowana w 1999 r. przez prof. Mirosława Krajewskiego pod chórem muzycznym oraz popiersie kompozytora w przejściu na dziedziniec klasztornyM. Krajewski, Oborzańskie Sanktuarium Matki Bożej Bolesnej - Pani i Królowej Ziemi Dobrzyńskiej, Kraków-Obory-Brodnica 2016, s. 269-274.
Łaskami słynąca figura Matki Bożej Bolesnej od wieków była przedmiotem szczególnej czci. Zajmowali się Nią teologowie, historycy i poeci. Na cześć MB Bolesnej w Oborskim wizerunku powstawały utwory poetyckie, ostatnio zebrane i wydane w specjalnym wydawnictwie11. Deo et Matris. Almanach religijnej poezji ziemi dobrzyńskiej, wybrał, opr., wstępem i przypisami opatrzył Mirosław Krajewski, „Biblioteka Dobrzyńska”, t. 4, Wszechnica Edukacyjna i Wydawnicza "Verbum", Rypin 2011, ss. 172, ..