W 1622 roku po bitwie na Białej Górze wojska cesarskie opanowały miasto. Ich działania spowodowały wiele szkód, między innymi konieczność rozbiórki kolegiaty, grożącej zawaleniem oraz budynków warowni. Po opanowaniu miasta dalsze prace nad rozbudową umocnień prowadził w latach 1690–1702 Jacopo Carove. Średniowieczne mury zastąpiono kurtynami i bastionami. Na zlecenie Habsburgów wzniesiono wtedy trzy bastiony: Jabłonki, Ludmiły i Wacława. Były one podstawą umocnień twierdzy, tworzyły tzw. dzieło koronowe, osłaniające Górę Forteczną od północy i wschodu. Natomiast od południa i zachodu wybudowano bastiony Alarmowy i Dzwonnik oraz półbastion Orzeł. Kompleks tych umocnień otaczał położony na szczycie zamek, był on częściowo dostosowany do systemu umocnień. Bastiony zostały osłonięte rawelinami – Polnym i Jabłonką oraz fosą. Tym samym odbudowano i zmodernizowano zamek, nadając mu bardziej współczesny kształt.
W 1742 roku twierdza poddana została Prusakom, którzy zajęli tereny hrabstwa kłodzkiego w konsekwencji pierwszej wojny śląskiej.