Sekularyzacja kaplicy Tak jak rok powstania kaplicy pozostaje niepewny, to cezurą wyznaczającą kres jej funkcjonowania jako obiektu sakralnego jest pierwszy rozbiór Polski, po którym Braniewo, jak i cała Warmia, znalazła się pod panowaniem Prus. Władze pruskie dekretem z 2 lutego 1773 o sekularyzacji dóbr kościelnych przejęły związane z tymi dobrami budynki, w tym również zamek w Braniewie z wieżą bramną i kaplicą. W zamku ulokowano najpierw administrację państwową i ziemską, zaś od 1811 roku szkołę kształcącą nauczycieli. W latach 1874–1876 na placu zamkowym wzniesiono nowy okazały budynek szkoły, w który wkomponowano średniowieczną wieżę bramną. Wieża stała się odtąd łącznikiem dwóch skrzydeł szkoły, pełniąc mało reprezentacyjną funkcję ciągu komunikacyjnego i klatki schodowej (osobny artykuł: Seminarium Nauczycielskie w Braniewie)Wieża Bramna dawnego Zamku Biskupiego w Braniewie.
Podczas II wojny światowej, w czasie przetaczającego się przez miasto frontu w czasie luty-marzec 1945 roku, zamek w Braniewie spłonął, a około 1958 roku jego ruiny zostały rozebrane. Jedynym obiektem, który pozostał na pustym odtąd placu, była wieża bramna mieszcząca kaplicę św. Andrzeja.