Kiedy 20 października 1008 zmarł Abd al-Malik, jego młodszy przyrodni brat Abd ar-Rahman zastąpił go na stanowisku hadżiba. Wykorzystał swój wielki wpływ i w listopadzie 1008 zmusił słabego i bezdzietnego kalifa Hiszama II do wyznaczenia go na swojego następcę. Stało się to podczas ceremonii 13 stycznia 1009. Pięcioletni syn Abd ar-Rahmana, Abd al-Aziz, został ogłoszony hadżibem. Ludność Kordoby zareagowała negatywnie na taki rozwój wydarzeń. Już za rządów Almanzora narastało niezadowolenie mieszkańców, ponieważ ten zwerbował wielu berberskich najemników do swojej ochrony. Samego zaś Abd ar-Rahmana oskarżano o otrucie Abd al-Malika.
Kiedy w lutym 1009 Abd ar-Rahman udał się na wyprawę przeciw królowi Alfonsowi V z Leónu, mieszkańcy Kordoby wystąpili przeciwko niemu. Buntownikom przewodził Muhammad II al-Mahdi, wnuk Abd ar-Rahmana III, a zatem przedstawiciel dynastii Umajjadów. Al-Mahdi usunął swojego krewnego Hiszama II z tronu i sam został nowym kalifem. Następnie zniszczył rezydencje Abd ar-Rahmana. Z Al-Madina az-Zahira („kwitnące miasto”) wywieziono skarbiec, a Madinat az-Zahra ograbiono. Po otrzymaniu wiadomości o buncie i przewrocie Abd ar-Rahman wrócił spod Toledo do Kordoby, ale jego berberyjskie wojska go porzuciły. Został aresztowany, a następnie zamordowany na rozkaz al-Mahdiego.