Zostało odkryte przez Hagar – służącą Sary – żony Abrahama (była jednocześnie matką syna Abrahama – Izmaela).
Hagar biegła pomiędzy wzgórzami Safa i Marwah bezskutecznie szukając wody dla jej nowo-narodzonego syna, aż do czasu, gdy Bóg w końcu odkrył przed nią drogę do studni Zamzam, z której woda wypływa do dziś, mimo że muzułmanie każdego roku spożywają miliony litrów.
Po ucieczce Mahometa oraz jego zwolenników z Mekki do Jasribu, późniejszej Medyny, powrócił on ostatecznie do Mekki. Wówczas wspólnie z zięciem – Ali ibn Abi Talibem – usunęli wszystkie bożki znajdujące się wewnątrz Al-Kaaby oraz w jej pobliżu oraz uporządkowali teren świątyni. W ten sposób rozpoczęło się nieprzerwane islamskie panowanie nad świątynią. Wokół Al-Kaaby rozpoczęto wznoszenie meczetu.
Początki Świętego Meczetu należy wiązać z panowaniem kalifa Umara (634-644). Mając na celu pomieszczenie ciągle rosnącej liczby pielgrzymów, nakazał on wyburzenie budynków otaczających Al-Kaabę oraz zbudowanie 1,5 m wysokości muru okalającego zewnętrzną powierzchnię modlitewną. Podczas rządów kalifa Usmana (644-656) powierzchnia modlitewna została powiększona oraz przykryta dachem wspartym na drewnianych kolumnach i łukach. Kolejne prace związane z rozbudową meczetu rozpoczęły się w 692 r.