W następstwie sekularyzacji części dóbr kościelnych, także Wieża Kopernika przekazana została przez władze pruskie braniewskiemu Gimnazjum Hozjanum. Władze tej uczelni zamierzały wieżę rozebrać, a cegłę sprzedać. Wskutek sprzeciwu kapituły, popartego opinią biskupa warmińskiego Josepha Geritza, Królewskie Ministerstwo Spraw Wewnętrznych, decyzją z dnia 17 lipca 1816, zmieniło swoje poprzednie rozstrzygnięcie, przekazując wieżę na powrót warmińskiej kapitule. Wieżę, jako domniemane obserwatorium Mikołaja Kopernika, remontowano jeszcze w 1870.
We wnętrzu wieży powstała pierwsza izba muzealna dotycząca Mikołaja Kopernika na Wzgórzu Katedralnym. Została stworzona w 1912 przez kanonika Eugena Brachvogla. Podczas tej adaptacji zniszczono jednak wiele elementów architektonicznych i dekoracyjnych, które na elewacji wieży przetrwały od czasów średniowiecza. Wyposażenie tej wystawy miało charakter eklektyczny. Z braku oryginalnych eksponatów i mebli, pochodzących z epoki, pokazywano tutaj głównie kopie i reprodukcje, a wśród mebli i obrazów zdarzały się eksponaty z epoki baroku i neogotyckie.