Do systemu fortyfikacji należały również najnowocześniejsze w owym czasie okrągłe wieże obronne. W odróżnieniu od czworokątnych, starszego typu, zapewniały obrońcom lepszy dostęp do martwych rogów, w których chowali się atakujący.
Architektura Wzgórze było zamieszkałe przez Celtów już około 1000 lat p.n.e. W VI stuleciu na górze osiedlili się Frankowie. W 706 roku na szczycie zostaje wybudowany pierwszy kościół Najświętszej Marii Panny. Okrągła budowla w stylu przedromańskim (Merowingów), była wielokrotnie przebudowywana, ale jest najstarszą budowlą w Niemczech. Kościół znajduje się na zamku wewnętrznym, wraz z ośmiokątną studnią i okrągłą wybudowaną w 1200 wieżą obserwacyjną. Za panowania biskupa Konrada I von Querfurt wzgórze zostało umocnione. Powstały zamek został otoczony murami obronnymi wraz z trzema basztami obronnymi. Na południowym wschodzie basztą słoneczną, na północnym wschodzie basztą Marii Panny, na północnym zachodzie basztą Kiliansturm. Na baszcie Madonny znajduje się ten sam obraz Marii w promienistym wieńcu jak na wieży kościoła Mariackiego, który jest widoczny z twierdzy. Po przejściu przez bramę Scherenberg wchodzi się na dziedziniec wewnętrzny zamku. Około roku 1500 zostały dobudowane schody prowadzące bezpośrednio do mieszkania Biskupa.