Po większej liczbie występów w Leeds United, 10 lutego 2003 roku przedłużył kontrakt z klubem o pięć lat.
Na początku sezonu 2003/2004 został wypożyczony na jeden miesiąc do grającego w Division Two Swindon Town w celu nabrania doświadczenia jako zawodnik pierwszego składu. W czasie pobytu w tym klubie zdobył dwie bramki w sześciu spotkaniach. Jednak Leeds United podupadało; drużyna była tematem licznych negatywnych historii w mediach oraz sprzedała kilku zawodników pierwszego składu. Po spadku klubu Milnera do Championship jego przyszłość w zespole była niepewna. Zainteresowani kupnem Anglika byli Tottenham Hotspur, Aston Villa i Everton. Ostatecznie Villa oraz Everton nie złożyli oferty, zaś piłkarz odrzucił propozycję Tottenhamu, ponieważ siedziba tego klubu znajdowała się za daleko od jego domu rodzinnego, gdzie ciągle mieszkał. Problemy finansowe zmusiły jednak Leeds do sprzedania Milnera Newcastle United za kwotę 3,6 milionów funtówOstatecznie cena ta wzrosła do 5 milionów, z powodu liczby rozegranych spotkań przez Milnera dla nowej drużyny.