Zagrał w niemal wszystkich meczach Premiership w sezonie 2003-2004, strzelając przy tym dwie bramki. Większość znawców futbolu, oraz fanów Leeds uznała go za najlepszego piłkarza klubu. Nie udało się uratować go przed spadkiem, ale podkreślano zgodnie, iż bez Jermaine'a Pennanta klub nie miałby na utrzymanie najmniejszych szans, podczas gdy z nim w składzie walczył niemal do końca.
Powrót do Londynu – Birmingam i wyrok Po bardzo dobrym sezonie w Leeds powrócił, już jako niemal w pełni ukształtowany zawodnik, do Arsenalu. Jego celem było wywalczenie miejsca w składzie czołowej drużyny ligi. Kolejny raz jego pobyt w klubie z Highbury skończył się zawodem. Nie potrafił przebić się do składu, w którym na skrzydłach grali zawodnicy o większej od niego renomie – Robert Pirès i Fredrik Ljungberg. Jak miało się okazać pierwsza runda sezonu 2004-2005 była jego ostatnim pobytem w Londynie. Na początku 2005 roku wypożyczono go ponownie – tym razem do Birmingham City.
Pennant ponownie pokazał się z dobrej strony, pierwsze mecze dla nowego klubu grając na swoim najwyższym poziomie. Jednak sezon ten dla Pennanta i jego kibiców zapadł w pamięć z innego, niechlubnego powodu.