Ogromne wrażenie zrobiły na nim występy Baletów Rosyjskich Diagilewa, którego spektakle podbijały wówczas Paryż, w związku z tym nawet zaczął się uczyć języka rosyjskiego.
Jednak czuł, że bogactwo doznań, jakie dostarczały mu znajomości w świecie sztuki, utrudniają mu stworzenie własnej formy ekspresji. Przełomowym okazał się rok 1923. Jean odbywał wówczas służbę wojskową w stacji meteorologicznej mieszczącej się na wieży Eiffla. Tu poznał Clémentine R., chorą umysłowo wizjonerkę, która zajmowała się interpretowaniem rysowanych przez siebie chmur na niebie. To ten nurt Dubuffet nazwie później art brut (sztuka surowa).
W kręgu rodzinnej firmy Został zdemobilizowany w roku 1923. Przeżywał w tym czasie kryzys. Odciął się od środowiska artystycznego, już nie chciał zostać malarzem. Pod pretekstem poszukiwań krewnego, popłynął statkiem do Buenos Aires.