Budowla na Górze Wszystkich Świętych jest jedną z kilku wież widokowych w Sudetach Środkowych. Inne znajdują się na: Górze Świętej Anny, Kalenicy, Wielkiej Sowie, Włodzickiej Górze (odbudowana i ponownie otwarta w 2018 roku) oraz w Suszynie.
Historia Wieża stanęła staraniem sekcji Kłodzkiego Towarzystwa Górskiego (Glatzer Gebirgsverein) ze Słupca. Wcześniej stała tam od 1889 r. drewniana miniwieża o wysokości 2,8 m – już wówczas miejsce było popularne wśród turystów. 12 czerwca 1913 r. położono kamień węgielny pod budowę nowej wieży i jeszcze w tym samym roku budowla została ukończona. Wieża otrzymała imię feldmarszałka Helmutha Karla von Moltke, którego rodzina, mająca siedzibę w Krzyżowej, wsparła finansowo budowę. Jego wizerunek umieszczono na płaskorzeźbie nad wejściem. W latach 80. XX wieku wieża zaczęła powoli popadać w ruinę. Zawalił się wówczas balkonik i schody. Po pewnym czasie wieżę częściowo odrestaurowano, naprawiając schody i dach (balkoniku nadal nie ma).