Wyburzenie bramy środkowej wydawało się wtedy tylko kwestią czasu. W 1855 do senatu miasta wpłynął wniosek obywatelski (683 podpisy) wzywający do wyburzenia bramy, by zrobić miejsce pod nowe tory kolejowe.
Jednakże już w tym czasie ruch obrony zabytków był silny. Walka o utrzymanie bramy trwała bardzo długo. W końcu w 1863 r. podjęto ostateczną decyzję (przeważył jeden głos), by budowli nie tylko nie burzyć, ale by poddać ją gruntownej renowacji.