Prawdopodobnie zacząłby występować w spotkaniach od pierwszej minuty, jednak zwolniony został Bobby Robson, którego Milner uważał za mentora, a zastąpił go Graeme Souness. Pod wodzą nowego trenera zagrał w 13 ligowych meczach od początku, jednak do kwietnia 2005 roku nie wystąpił w żadnym całym meczu Premier League. Sezon zakończył z 41 występami we wszystkich rozgrywkach oraz z jednym strzelonym golem. Milner potwierdził jednak, że był sfrustrowany tym, że w większości spotkań nie zagrał w wyjściowym składzie.
Na początku sezonu 2005/2006 zdobył bramkę w wygranym 3:1 wyjazdowym meczu z MFK Dubnica w Pucharze Intertoto oraz zaliczył asystę przy trzeciej bramce, zdobytej przez Alana Sheraera. W następnej rundzie tych rozgrywek, w spotkaniu z Deportivo La Coruña Milner ponownie strzelił gola. Jednak mimo tych bramek, ze względu na klauzulę w zakupie Nolberto Solano, Milner został wypożyczony do Villi do końca sezonu.