We wrześniu 1958 stracił najpierw stanowisko zastępcy dowódcy naczelnego irackich sił zbrojnych, a następnie także urząd wicepremiera; 12 października został mianowany ambasadorem w RFN. Początkowo nie chciał pogodzić się z sytuacją, podczas osobistej rozmowy z premierem Kasimem groził mu rewolwerem. Ostatecznie Arif wyjechał z Bagdadu na placówkę, lecz po niecałych dwóch miesiącach wrócił do kraju i został aresztowany. Usunięcie go z rządu było początkiem procesu eliminowania z elity władzy osób związanych z partią Baas i ogólnie ludzi aktywnych politycznie jeszcze przed rewolucją. 4 listopada Arif stanął przed sądem oskarżony o zdradę stanu, został uznany za winnego i skazany na karę śmierci. W lutym 1959 Kasim zastosował wobec niego prawo łaski, zamieniając karę na dożywotnie pozbawienie wolności. Skazaniu Arifa towarzyszyły manifestacje poparcia dla rządu, w niektórych miejscowościach doszło do zamieszek. Abd as-Salam Arif został zwolniony z więzienia przed lutym 1963.