Szkoleniowiec Aston Villi, David O’Leary, który również był trenerem Leeds United, w czasie kiedy grał tam Milner, był szczęśliwy, że udało im się pozyskać tego gracza i miał także nadzieję, że podczas pobytu w klubie Anglik podniesie swoje umiejętności.
Wypożyczenie do Aston Villi W nowym klubie zadebiutował 12 września 2005 roku w meczu ligowym z West Ham United, natomiast pięć dni później, w zremisowanym 1:1 spotkaniu z Tottenhamem Hotspur zdobył pierwszą bramkę. W meczu Pucharu Ligi rozegranym tydzień później, pomógł swojej drużynie podnieść się z porażki 3:1 po pierwszej połowie, strzelając dwie bramki w drugiej odsłonie spotkania. Przez cały sezon Milner wypowiadał się pozytywnie na temat Aston Villi. Był pewien, że jego klub podniesie się ze słabego początku sezonu oraz wyraził swoje zadowolenie z zawodników będących w kadrze zespołu.
Choć sam Milner dobrze sobie radził w Villi, generalnie był to zły okres dla klubu. Sam piłkarz również oceniał wypożyczenie w samych pozytywach. Powiedział również, że chciałby grać w klubie na stałe, ponieważ mógłby tutaj występować regularnie od pierwszej minuty, jednak prawdopodobieństwo tego zdarzenia nie zależało od niego. David O’Leary w trakcie sezonu potwierdził, że również chciałby wykupić Milnera, jednak wątpił, czy dostanie okazję podpisania z nim kontraktu.