W sezonie 2003/2004 Juan Pablo odzyskał strzelecką formę i zdobył 16 goli w Premiership (ponownie najlepszy w drużynie), a Aston Villa po dobrym sezonie zajęła 6. pozycję. W sezonie 2004/2005 zdobył 7 goli, ale i zespół z Birmingham zagrał słabiej zajmując 10. miejsce. Latem 2005 z zespołu odszedł Vassell i wówczas na Ángelu zaczęła ciążyć presja zdobywania goli. Dodatkowo do zespołu przyszedł Czech Milan Baroš. To spowodowało, że Ángel zagrał słaby sezon i strzelił ledwie 3 gole, podczas gdy Baroš 8, a inny napastnik, Kevin Phillips 4. Aston Villa zakończyła sezon na 16. miejscu.
W sezonie 2006/2007, 14 października w meczu z Tottenhamem Ángel nie wykorzystał swojego piątego karnego w historii występów w Premiership, a do tego minutę później zdobył samobójczego gola. Natomiast 11 grudnia w zremisowanym 2:2 meczu z Sheffield United F.C. znów było głośno o Kolumbijczyku, który łokciem uderzył Chrisa Morgana. Ostatecznie jednak Juan Pablo nie został ukarany za to niesportowe zachowanie.