Ich pierwszy album Asleep in the Back wydany dal wytwórni V2 w 2001 r. przyniósł zespołowi nominacje do nagród Mercury Prize i Brit Awards. Drugi album – Cast of Thousands ugruntował ich opinię jako innowatorów brytyjskiej muzyki. Tytuł albumu nawiązuje do ich występu w Glastonbury w 2002, kiedy nagrali tysiące ludzi śpiewających „We still believe in love, so fuck you”. To nagranie wykorzystali w swoim utworze „Grace Under Pressure”.
W 2004 r. Elbow wyruszył na nieoficjalne tournée na Kubie, grając utwory z albumów Asleep in the Back i Cast of Thousands w okolicach Hawany.
Ich trzeci album Leaders of the Free World został wyprodukowany w całości przez zespół w Blueprint Studios w Salford. Mimo uznania wśród krytyków album nie przyniósł oczekiwanych dochodów i V2 rozwiązał kontrakt z zespołem w 2006 r. W tym samym roku zespół podpisał umowę z Fiction Records. Zespół nagrał utwór „Snowball” na wydany w 2005 album charytatywny Help - a Day in the Life. Na albumie tym znalazły się także między innymi: Radiohead, Gorillaz i Coldplay. Ponadto niewydany utwór „Beat for Two” został wykorzystany w filmie Ja w środku tańczę.