Pierwotnych zamierzeń nigdy potem nie próbowano zrealizować.

Zgromadzone już materiały na piątą i szóstą kondygnację przeznaczono w połowie XVI wieku na budowę kamiennego mostu niedaleko Bramy Wrocławskiej. Ruiny filarów tego mostu można oglądać do dziś na rzece Nysie Kłodzkiej, pomiędzy mostem kolejowym a progiem wodnym przy kościele św. Elżbiety.

Dzwonnica od pięciu stuleci niemal nieprzerwanie pełni swą podstawową funkcję. Ponadto w XIX wieku istniało w niej obserwatorium astronomiczne.

Największym kataklizmem dla tego zabytku okazała się II wojna światowa. Najpierw w latach 1941–1942 zarekwirowano wszystkie dzwony z wyjątkiem Świętego Jakuba, a potem i on uległ zniszczeniu w 1945 roku podczas walk o miasto.

W latach pięćdziesiątych następuje odbudowa wypalonego wnętrza dzwonnicy. Zrekonstruowano wówczas drewnianą więźbę i zawieszono na niej nowe dzwony.

Od 2009 roku systematycznie prowadzona jest renowacja elewacji, połączona z rekonstrukcją gotyckich zdobień.