Klasztor, wraz z czterema innymi kościołami ufundowanymi przez Karola IV, wyznacza na planie miasta kształt krzyża. Kierunek północ - południe wyznaczają lokalizacje kościołów św. Katarzyny i Zwiastowania Maryi Panny na słupie, a wschód - zachód – kościół Panny Marii i św. Karola Wielkiego oraz klasztor Emaus. Ramiona tego architektonicznego krzyża przecinają się w miejscu zajmowanym przez kościół św. Apolinarego.
W latach 1419–1589 klasztor znajdował się w rękach husytów (utrakwistów). Na początku panowania Rudolfa II wrócił on w ręce katolików. W 1636 objęli go benedyktyni z katalońskiego klasztoru w Montserrat, którzy z kolei w 1880 zostali zastąpieni przez zakonników z Niemiec. W 1920 przywrócono tu sprawowanie liturgii słowiańskiej. W 1942 gestapo aresztowało opata i skierowało go do obozu koncentracyjnego, pozostałych zakonników wygnano, a w klasztorze otworzono szpital wojskowy.