Biznesowe talenty Olivera ustępowały muzycznym. Kolejni menadżerowie okradali go z pieniędzy. Zażądał więcej pieniędzy dla swojego zespołu niż Savoy Ballroom mógł zapłacić, wskutek czego stracił szansę na kontrakt. W podobny sposób stracił okazję na zatrudnienie w słynnym nowojorskim Cotton Clubie. Wtedy zamiast niego młody Duke Ellington przyjął tę pracę, czym zyskał sławę.
Wielki Kryzys był trudny dla Olivera; oszczędności całego życia przepadły, gdy zbankrutował bank Chicago, usiłował jeszcze utrzymać zespół angażując go w kilka występów, z których zapłata ledwie pozwalała na przeżycie. Gdy zespół rozpadł się Oliver przeniósł się do Savannah w stanie Georgia. Pracował tam jako odźwierny i zmarł w ubóstwie.
Muzyka Olivera Jako trębacz Oliver interesował się modyfikowaniem dźwięku swojego instrumentu. Był pionierem używania tłumików, włączając w to melonik, butelki i pucharki umieszczane w roztrąbie. Jedno z jego nagrań z Dixie Syncopators zatytułowane zostało "WaWaWa" właśnie ze względu na stosowanie takich technik.
Jakkolwiek Oliver głównie grał na kornecie, instrumentem z którym się identyfikował była trąbka.