Nazwa zespołu została zaczerpnięta z terminu art brut, wprowadzonego przez malarza Jeana Dubuffeta. Argos powiedział na ten temat: „Art Brut jako ruch jest bardzo szczery. Myślę, że my również tacy jesteśmy. Nie jesteśmy w 100% spełnieni i lubimy robić rzeczy po swojemu. Czasami potrafię być przesadnie entuzjastyczny i myślę, że ludzie mylą to z ironią”.
Art Brut nagrał Brutlegs, serię chaotycznych demówek, dzięki którym zespół podpisał umowę z wytwórnią . W marcu 2004 roku wydała ona jedną z piosenek zespołu, , która znalazła się na 52. miejscu brytyjskiej listy przebojów. Pojawił się on tamże na 38. miejscu listy najlepszych singli 2004 roku magazynu Pitchfork.
W grudniu 2004 roku ukazał się podwójny A-side „Modern Art / My Little Brother”, natomiast pierwszy pełnometrażowy album zespołu, , wydany został 30 maja następnego roku, wydany nakładem Fierce Panda. Album wyprodukowany przez Johna Fortisa zawierał oczyszczone wersje piosenek z płyty Brutlegs i osiągnął 11. miejsce na . Debiutancka płyta znalazła się na 3. miejscu najlepszych albumów 2005 roku magazynu Pitchfork. Na liście najlepszych singli 2005 roku tego samego magazynu, na 15. miejscu znalazł się pochodzący z tego albumu utwór „Good Weekend”, a na 14.