Z tego powodu mieszkańcy mogli opuścić osady i przenieść się do innych ośrodków rozwijających się pod rządami Arabów.
Architektura W Serdżilli zachowały się w bardzo dobrym stanie zarówno budynki mieszkalne, jak i budynki użyteczności publicznej. Wszystkie budynki zostały wzniesione z lokalnego kamienia bez użycia zaprawy. Większość zabudowań to dwupiętrowe domy mieszkalne – na piętrze mieszkali ludzie, a na parterze zwierzęta. Wiele domów miało portyki i werandy, ciągnące się wzdłuż ulicy, służące jako stajnie lub sklepy. Największe z domów mieszkalnych mieściły 16 pomieszczeń. W żadnym z budynków nie ma schodów, stąd hipoteza, że domy miały drewniane schody biegnące na zewnątrz, które w ciągu kilkunastu wieków uległy dezintegracji. Większe domy miały własne, kamienne prasy do wytłaczania oliwy.
Pozostałości budynków użyteczności publicznej zachowały się przy placu pośrodku osady – ruiny wczesnobizantyjskiej łaźni, dwupiętrowego andronu i trójnawowego kościoła.