W hierarchii ważności zajmowała drugie miejsce po kościele farnym.

Na południe od świątyni wzniesiono budynek klasztorny w formie dwóch skrzydeł, do których dostawiono późnogotycką wieżę o wysokości 21 m z elementami renesansowymi. Kompleks karmelitów był otoczony murem i stanowił istotny element miejskiego systemu obronnego, chroniąc miasto od północy.

Okresem rozkwitu konwentu karmelitów w Bydgoszczy był XVI wiek i początek XVII wiekuAlabrudzińska Elżbieta. Z dziejów karmelitów bydgoskich. In. Kronika Bydgoska X (1986–1988). Bydgoszcz 1990. Zakonnicy posiadali pokaźną bibliotekę (ze zbiorem kilkudziesięciu inkunabułów), a w jego murach przebywali wychowankowie Uniwersytetu Jagiellońskiego. Przy klasztorze działały bractwa kościelne, kapela, a także szkoła klasztorna przeznaczoną dla chłopców (zwykle synów zamożnych mieszczan i szlachty), w której znany był wysoki poziom kształcenia muzycznego. Z Bydgoszczy w 1604 r. wyszła spod pióra ks. Łukasza Wójtowicza pierwsza obszerna, w uczony sposób podana historia zakonu Matki Boskiej z Góry Karmel oraz szkaplerza i bractwa.

Jeden z karmelitów ze zboru bydgoskiego został uznany błogosławionym. Był to Stanisław Bydgosta (zm. 1420), którego kult żywo się rozwijał w środowisku miejscowych karmelitów, a w XVII–XVIII w.