Po śmierci Mu’awiji (661-680) odmówił uznania władzy Jazida (680-683) i schronił się w Mekce. Po zabiciu Husajna mieszkańcy Hidżazu przestali uznawać władzę Umajjadów i chcąc zmusić ich do uległości w 683 Jazid wysłał swoją armię przeciwko Mekce i Medynie. Po pokonaniu Medyńczyków w bitwie pod Harra armia Umajjadów rozpoczęła oblężenie Mekki, podczas którego spłonęła Al-Kaba (miała ona być następnie odbudowana przez Abd Allaha), ostatecznie jednak wojska kalifa wycofały się na wieść o jego śmierci.
W międzyczasie popularność Abd Allaha, od początku oponenta Jazida, sukcesywnie rosła, i po jego śmierci ogłosił się on kalifem, do czego od dawna zachęcali go jego zwolennicy. Oprócz Hidżazu jego władzę uznały Irak (dokąd jako swojego przedstawiciela wysłał swojego brata, Musaba), Egipt, południowa Arabia, a także północna Syria i Al-Dżazira, gdzie popierały go plemiona Kajsytów. Był wówczas bez wątpienia najpopularniejszym pretendentem do kalifatu, ciesząc się poparciem większości prowincjonalnych namiestników, którzy nie uznawali roszczeń Umajjady Marwana Ibn al-Hakama (684-685) (syn Jazida, Mu’awija II (683-684), panował tylko przez kilka miesięcy).