W 1870 roku osadzono tu jeńców francuskich, wziętych do niewoli w wojnie francusko-pruskiej. W 1873 roku w murach twierdzy został uwięziony przez władze pruskie ks. Augustyn Szamarzewski (1832–1891), wielkopolski działacz społeczno-gospodarczy oraz Wojciech Kętrzyński czy Karl Liebknecht.
W 1911 roku więziono w Kłodzku francuskiego kapitana wywiadu Charles’a Luxa, którego za działalność szpiegowską skazano na 6-letni pobyt w twierdzy. Wsławił się brawurową ucieczką. W 1932 roku wydał książkę, w której opisał pobyt w twierdzy i ucieczkę, ośmieszając niemieckich wartowników.
W czasie II wojny światowej, w latach 1940–1943 twierdza była filią niemieckiego obozu KZ Groß-Rosen, umieszczano w niej jeńców wojennych, dezerterów z armii niemieckiej oraz podejrzanych o działania na szkodę III Rzeszy. Znajdowało się tu ciężkie więzienie dla więźniów politycznych (więziony i stracony był tu m.in. Władysław Planetorz, działacz Związku Harcerstwa Polskiego w Niemczech), miejsce kaźni i obóz pracy. Więziono tu Rosjan, Francuzów, Włochów, Belgów, Czechów, Finów i Anglików. Więźniem twierdzy był m.in.