Nie wiadomo dokładnie, kiedy został umieszczony w niej wizerunek Matki Boskiej. Świątynia spłonęła w 1711, a już w roku następnym odbudowano ją jako murowaną. Według legendy, obraz wyniósł z ognia młody zakonnik. W 1761 karmelita o. Hilańon (ks. Rościszewski) wydał Relację o Cudownym Obrazie....
W 1794 przy Ostrej Bramie miało miejsce starcie oddziału wojsk rosyjskich szturmujących Wilno z obrońcami miasta (powstańcami Jasińskiego). Podczas tych zajść ucierpiała kaplica i wizerunek. Uszkodzenia naprawiono w tym samym roku.
W okresie zaborów w Ostrej Bramie (oraz na ulicy pod nią) miały miejsce patriotyczne manifestacje, szczególnie w czasach powstania styczniowego. Kult Matki Boskiej Ostrobramskiej stał się wówczas częścią polskiego ruchu niepodległościowego, wymierzonego przeciw rosyjskiemu zaborcy. Po stłumieniu powstania styczniowego w 1864, w obawie przed niepożądanymi reakcjami władz rosyjskich, polski napis na frontonie kaplicy: Matko Miłosierdzia pod Twoją obronę uciekamy się zmieniono na łaciński: MATER MISERICORDIAE, SUB TUUM PRAESIDIUM CONFUGIMUS.
Kult Maryi Ostrobramskiej został spopularyzowany po wydaniu poematu Pan Tadeusz Adama Mickiewicza.