Gdy w 2001 Partia Cnoty została zdelegalizowana, wraz z Recepem Tayyipem Erdoğanem współtworzył Partię Sprawiedliwości i Rozwoju (AKP), którą wsparło kilkudziesięciu deputowanych. Abdullah Gül objął funkcję wiceprzewodniczącego nowej formacji, na czele której stanął były burmistrz Stambułu. Miał zostać oskarżony w postępowaniu dotyczącym fałszowania dokumentów w sprawie dotyczącej defraudacji funduszy Partii Dobrobytu; przed zarzutami ochronił go immunitet, a postępowanie karne ostatecznie zamknięto w 2010.
Działalność polityczna w latach 2002–2007 W wyniku wyborów z listopada 2002 ponownie uzyskał mandat poselski. Wybory te odbywały się w okresie kryzysu politycznego i ekonomicznego. AKP odniosła zdecydowane zwycięstwo, uzyskując większość bezwzględną w parlamencie. Próg wyborczy przekroczyła wówczas jeszcze tylko Republikańska Partia Ludowa. 18 listopada 2002 objął urząd premiera (lider AKP nie mógł stanąć na czele rządu z uwagi na ciążący na nim zakaz pełnienia funkcji publicznych). Od początku deklarował rezygnację na rzecz Recepa Tayyipa Erdoğana. Po zmianie przepisów przewodniczący AKP w marcu 2009 wystartował z powodzeniem w wyborach uzupełniających.