W 1772 roku, po wejściu Bydgoszczy w skład ziem zaboru pruskiego, nadszedł dla klasztoru trudny okres. Władze zaborcze, początkowo unikające zadrażnień na tle religijnym, po 1815 roku przesądziły kasatę placówki. Ostatni gwardian bydgoski Feliks Kokoszewski zmarł w 1826 roku, a w roku 1829 wyjechał ostatni zakonnik. Budynki, w tym domek loretański przejęło państwo pruskie, które oddało je gminie ewangelickiej. Od tamtej pory, kaplica loretańska nie była już nigdy więcej używana do celów kultowych; złożono w niej księgozbiór biblioteki bernardynów bydgoskich. W 1838 roku została rozebrana.
Grobowce W XVII i XVIII wieku, w grobowcu pod Domem Loretańskim pochowano wielu zasłużonych dla kościoła duchownych oraz znamienitych mieszczan i szlachciców. Spoczęli tu: o. Franciszek Warszawski, kaznodzieja generalny i prowincjał oraz fundator Jan Piniński (1690), Jakub Ulatowski (1694), Barbara Gocanowska (1695), Anna Broniewska i synowie Franciszka Lubstowskiego, starosty kruszwickiego (1696), Adam Lubstowski, kasztelan kowalski (1702), Elżbieta z Moszczyńskich Pinińska, benafaktorka i fundatorka Domu Loretańskiego (1717).