Po powrocie do Celty, 1 listopada 2003 roku Almunia został wypożyczony do Albacete Balompié. W nowej drużynie zadebiutował w następnym tygodniu w przegranym 1:0 spotkaniu z Málaga CF. Almunia był jednym z podstawowych zawodników swojego klubu, wystąpił w 24 ligowych meczach, a jego drużyna zajęła na koniec sezonu 14. miejsce w tabeli.
Arsenal Almunia 14 lipca 2004 przeszedł do Arsenalu za nieujawnioną sumę. W nowej drużynie zadebiutował 27 października w wygranym 2:1 meczu Pucharu Ligi z Manchesterem City. Almunia zagrał we wszystkich meczach Arsenalu w tych rozgrywkach w tym ćwierćfinałowym z Manchesterem United, gdzie jedyną bramkę zdobył David Bellion.
W Premier League zadebiutował natomiast 4 grudnia w wygranym 3:0 meczu z Birmingham City. Pierwszy raz w europejskich pucharach wystąpił trzy dni później. Był to mecz Ligi Mistrzów z Rosenborgiem. W tym czasie był drugim bramkarzem Arsenalu. Almunia najwięcej razy grał w spotkaniach pucharowych. 21 maja 2005 jego klub wystąpił w finale Pucharu Anglii, w którym zagrał z Manchesterem United. Mecz zakończył się zwycięstwem jego drużyny 5:4 w rzutach karnych po bezbramkowym remisie, zaś Almunia spotkanie oglądał z ławki rezerwowych.