W V wieku teren wokół tego małego kościoła został zniwelowany, by dać miejsce do budowy większego kościoła na planie ośmioboku. Jego fundamenty zbudowano z kamieni bazaltowych i wapiennych, a mury z wapienia. Wcześniejsze główne pomieszczenie sanktuarium zajmowało centralną część nowej budowli, co wskazuje, że budowniczowie nowego kościoła starali się zachować jego pierwotną lokalizację. Zniszczono jednak wszystkie przyległe po stronie zachodniej domy mieszkalne. Później do wschodniej ściany dobudowano apsydę, w której najprawdopodobniej zlokalizowano baptysterium. Posadzka bazyliki była wyłożona mozaiką z wzorami geometrycznymi przedstawiającymi okręgi i krzyże, a po stronie zewnętrznej rośliny i zwierzęta. W 570 roku Antonin z Piacenzy wspomina kościół w Kafarnaum: Poszliśmy do domu błogosławionego Piotra w Kafarnaum, gdzie obecnie jest bazylika (łac. Item venimus in Capharnaum in domo beati Petri, quae est modo basilica). Świątynię użytkowano do VII wieku. W 614 Syria i Palestyna zostały podbite przez perskiego władcę Chosrowa II Parwiza. W 637 lub 638 roku władzę objęli muzułmanie z Arabii pod wodzą Umara ibn al-Chattaba, kalifa z dynastii kalifów sprawiedliwych. W okresie arabskiego podboju Palestyny, tutejszy kościół i synagoga były zniszczone.