Po wielu latach i ciągłych przeciwnościach losu, pragnąc zapewnić swojej kolekcji stały byt, Dubuffet zdecydował się na zinstytucjonalizowanie kolekcji jako dobra publicznego i ofiarował ją miastu Lozannie (Szwajcaria) w 1971 r. Kolekcja obejmowała już wtedy nieco ponad cztery tysiące dzieł (a dokładnie: 4100 dzieł 135 autorów i ok. 1200 prac tzw. drugorzędnych, o niższej wartości). Miasto zdecydowało się, aby pod potrzeby kolekcji i tworzonego dla niej muzeum zaadaptować część XVIII-wiecznego zamku Beaulieu.
Ponieważ „Art brut” jest ściśle związana ze spojrzeniem na sztukę Dubuffeta, określenie to często jest niesłusznie identyfikowane z jego stylem. Ważniejszy jednak jest związek z jego działalnością jako kolekcjonera. Dubuffet zastrzegł sobie używanie „Art brut” jako swój wynalazek i jakby stawiał stempel oceniając prace innych artystów. To samowolne izolowanie swoich kolekcji – „Collection de l’art brut” było krytykowane wcześniej przez André Bretona i później przez Haralda Szeemanna.
W 1975 r. Collection de l'Art Brut znalazła się w zaadaptowanym zamku Beaulieu w Lozannie.