Początkowo w skład meczetu wchodził dziedziniec główny z trzema arkadami – pomiędzy dwoma była kibla, a jedna z arkad stała samoistnie. Znajdował się także podniesiony transept, który zaczynał się przy mihrabie, a kończył przy dziedzińcu. Zbudowano trzy kopuły. Dwie z nich znajdowały się na rogach ściany kibli, a jedna nad mihrabem. Żadna z nich nie przetrwała. Początkowy minaret był o wiele niższy niż jego następcy. Był zbudowany z cegły i znajdował się nad głównym wejściem. W meczecie zachował się kawałek stiuku z czasów Fatymidów. W szczególności widać to po wnętrzu arkad i mihrabie. Styl stiuku jest bardzo przybliżony do tego z Samarry. Różnicą jest to, że w meczecie Al-Azhar można dostrzec palmety i zwoje, które są powszechne w architekturze bizantyjskiej.
Kalifowie tacy jak al-Hakim czy al-Amir składali dary jak na przykład nowe drewniane drzwi czy mihraby, które aktualnie znajdują się w muzeach w Kairze. W późniejszych latach dodano kolejną arkadę. Łuki fasady dziedzińca zmieniły swój wygląd i od tamtego momentu przybrały stępkową formę. Następnie dołączono kopułę, która znajdowała się na końcu transeptu. Była zasłonięta przez pisztak, czyli monumentalne obramienie ejwanu. Była bogato zdobiona stiukiem. Okna zdobiły geometryczne kraty.