Co ciekawe Jaksa uchodził za fundatora kanonii norbertanek w Krzyżanowicach nad Nidą, dokąd ze Strzelna miał sprowadzić grupę sióstr. Zatem Jaksa Gryfita w 1164 r. zakończył proces fundacyjny Konwentu Zwierzynieckiego, który został zapoczątkowany w 1146 r.
Obiekt w czasie obu najazdów tatarskich (1242, 1260) został prawie doszczętnie zniszczony, z romańskiego kościoła i klasztoru zachowały się jedynie resztki murów. Najstarsze zachowane obecnie fragmenty pochodzą z XIII w. Jest to m.in. romański portal w kruchcie pod wieżą. Odbudowany w latach 1255–59 kościół wzniesiono z cegły, ponownie w stylu romańskim. Był jednonawowy, z prostokątnym prezbiterium. Według tradycji ponownie zniszczony przez Tatarów w 1260 i 1287.
Zachowane do dzisiaj mury i baszty pochodzą z czasów Władysława Jagiełły. Miały wówczas charakter obronny, klasztor położony był wówczas poza bramami miasta. W XVIII w. w fortyfikacjach klasztornych przechowywano broń i działa, które zostały przekazane w 1794 roku Tadeuszowi Kościuszce. Kościół spłonął w 1527 oraz w 1587 roku, w czasie oblężenia Krakowa przez wojska arcyksięcia Maksymiliana Habsburga. Obecny wygląd pochodzi z czasu jego wielkiej przebudowy przeprowadzonej w latach 1596–1626, kiedy konwentem rządziła ksieni Dorota Kątska. Przebudowy tej dokonali Jan Trewano i Jan Petrini.