Do 1514 trwały prace budowlane prowadzone przez budowniczych franciszkańskich z południowych Niemiec. Po 1480 do klasztoru dobudowana została kaplica św. Anny, którą w 1 ćw. XVI wieku podwyższono. W wyniku reformacji i dominacji luteranizmu w Gdańsku, w 1556 podupadły klasztor został przekazany miastu z przeznaczeniem na szkołę teologiczną. Kaplica św. Anny stała się miejscem nabożeństw w języku polskim. W klasztorze swoje siedziby miały Gdańskie Gimnazjum Akademickie oraz pierwsza gdańska biblioteka. W XVII wieku od strony zachodniej dobudowano przy kościele zachowany do dziś dom o konstrukcji szkieletowej z nadwieszoną od strony ul. św. Trójcy galerią. W XIX wieku przebudowano zabudowania klasztorne, które zaadaptowano w 1872 na Muzeum Miejskie. Po 1945 franciszkanie uzyskali kościół od władz PRL, który został poważnie zniszczony podczas ostatniej wojny. Szczęśliwie ocalały część nawowa i wszystkie szczyty wieńczące elewacje zachodnią i wschodnią. Klasztor odbudowano do 1956, gdzie powstało Muzeum Pomorskie (obecnie jeden z kilku oddziałów gdańskiego Muzeum Narodowego), w którym prezentowane są bogata kolekcja malarstwa gdańskiego, niderlandzkiego (m.in. Sąd Ostateczny Hansa Memlinga) oraz cenne zbiory rzeźby gotyckiej i rzemiosła artystycznego. Do lat 50.