Ostra reguła zakonu nie pozwoliła na zbudowanie bogatej architektonicznie świątyni, pomimo iż były to najświetniejsze czasy baroku wileńskiego. Budynek kościoła był skromny, także wewnątrz, gdzie głównym elementem wystroju było dziewięć ołtarzy. Ołtarz główny poświęcony był patronce kościoła – Matce Boskiej Pocieszenia. Opuszczany obraz przedstawiał św. Jana Kantego. Jedynie wieża kościelna, bogato dekorowana w stylu rokoka, świadczyła o epoce, w której budynek powstał.
W chwili I rozbioru Rzeczypospolitej Obojga Narodów w klasztorze mieszkało 34 zakonników, był to więc drugi pod względem liczebności klasztor w prowincji polskiej. Przy kościele działały bractwa Matki Boskiej Pocieszenia i św. Tekli.
Pod koniec XVIII wieku zakon podupadł i sprzedał budynek klasztoru Uniwersytetowi Wileńskiemu, który zorganizował w nim seminarium katolickie. Po rozwiązaniu uczelni w 1833 seminarium przekształciło się w samodzielną Akademię Duchowną. W 1842 akademia została zamknięta i przeniesiona do Petersburga, a kościół i klasztor skonfiskowane przez rząd carski. Kościół został wkrótce przerobiony na cerkiew (pw. św. Andrzeja) i przebudowany zgodnie z wymogami obowiązującymi w świątyniach prawosławnych – usunięty został chór muzyczny, ambona i figury z ołtarzy, dobudowano ikonostas z ikonami napisanymi w Petersburgu.