left|thumb|Szkic Eugène Viollet-le-Duc ukazujący umiejscowienie warowni Podczas burzliwych lat końca III i początku IV wieku osadę wzmocniono przez budowę muru obronnego długiego na około 1200 m. Fortyfikacje składające się z dwóch linii murów i zamku – który sam został otoczony fortyfikacjami – rozciągają się na całkowitą długość 3 km. Ich długość w dużej mierze bierze się z rzymskich umocnień, które są wyraźnie widoczne na dwóch trzecich całkowitej długości konstrukcji. Ściany wzmocniono bastejami w kształcie podkowy w mniej więcej regularnych odstępach. Ściany cechuje charakterystyczny późnorzymski styl. Porte Narbonnaise po wschodniej stronie oraz Porte de l'Aude na zachodzie są szczególnie wyszukanymi dziełami obronnymi.
W V wieku miasto przeszło pod panowanie Wizygotów i było często celem ataków Franków. W 724 roku Carcassonne dostało się w ręce Arabów, którzy jednak już w 759 roku zostali wyparci przez Pepina Krótkiego. Jeszcze podczas panowania Wizygotów (w VI wieku) w Carcassonne założono biskupstwo. Jest bardzo prawdopodobne, że pierwotna katedra istniała w miejscu obecnej katedry romańskiej, której budowę rozpoczęto w czerwcu 1096 roku.