Jego idolami byli Paul Gascoigne oraz Harry Kewell.
W wieku 10 lat, gdy występował w Westbrook Juniors, został wypatrzony przez skauta Leeds United i rozpoczął treningi w szkółce piłkarskiej tego klubu. Grał tam spotkania między innymi byłemu napastnikowi Evertonu, Wayne’owi Rooneyowi. Jego wzorem do naśladowania był Alan Smith, który wówczas grał w Leeds United. Dawał on Milnerowi szansę gry wraz z nim, Harrym Kewellem oraz Markiem Viduką. Po grze w szkółce piłkarskiej i opuszczeniu szkoły zaczął występować w juniorskich drużynach klubu. Powiedział, że bardzo wierzy w to, że będzie grał w pierwszym zespole z takimi zawodnikami jak David Batty i Olivier Dacourt. Kontynuował rozwijanie swoich umiejętności w młodzieżowych zespołach i grał w reprezentacji Irlandii U-14 oraz dla Anglii w kategoriach do lat 15 oraz 17. Z reprezentacją U-17 wygrał w 2002 roku międzynarodowy turniej, w którym brały udział także Włochy, Czechy i Brazylia. W zremisowanym 1:1 spotkaniu z tym ostatnim państwem zdobył gola.