W 1160 roku, w czasie rządów prepozyta Buvo rozpoczęto przebudowę kościoła, która nadała mu dzisiejsze formy i rozmiary. Usunięto wówczas kryptę pierścieniową, zespół podziemnych miejsc pochówkowych, rotundę chórową oraz apsydę i zbudowano na ich miejscu obecną część wschodnią, zawierającą kwadratowy, sklepiony chór z flankowaną wieżami półkolistą apsydą, skarbcami i izbami świątynnymi. W 1180 roku do każdej z wież zachodnich została dodana szósta kondygnacja. W 1198 roku kościół doznał dużych zniszczeń wskutek wojny pomiędzy Filipem Szwabskim i Ottonem IV. W ramach prac związanych z naprawą zniszczeń całkowicie przebudowano korpus nawowy, a także dodano do części zachodniej kondygnacje szczytowe ze stromym dachem rombowym. 27 lipca 1208 roku kościół został ponownie poświęcony przez arcybiskupa Jana I. W 1230 roku dobudowano do zachodnich wież świątyni siódmą i zarazem ostatnią kondygnację. thumb|Kościół w 1900 roku W 1338 roku w kościele św. Kastora odbyło się spotkanie cesarza Świętego Cesarstwa Rzymskiego Ludwika IV i angielskiego króla Edwarda III, w trakcie którego obaj władcy przypieczętowali swoją przyjaźń. Było to ostatnie ważne spotkanie w historii koblenckiej świątyni. W latach 1496–1499 przeprowadzono przebudowę wnętrza świątyni, w ramach której zastąpiono sklepieniem, surową romańską strukturę z płaskim stropem.