Mimo że był muzykiem, któremu nigdy nie brakowało ofert pracy, swoje dochody oceniał jako niesatysfakcjonujące. „Żeby wyżyć z jazzu” – wspominał – „musiałem podróżować. Jeździłem do Europy i Japonii, gdyż za granicą płacili pięćset dolarów” za wieczór, a w kraju sześćdziesiąt”. Ponadto przez niemal trzydzieści pięć lat za cztery utwory, skomponowane wspólnie z Quincym Jonesem, należne mu tantiemy były przekazywane na konto śpiewaka gospel, wielebnego Jamesa Clevelanda. Kiedy James Cleveland – puzonista dowiedział się, że jest mylony (zwłaszcza przy rozliczeniach finansowych) z Jamesem Clevelandem – „Królem muzyki gospel”, zaczął na potrzeby formalne posługiwać się zdrobniałym imieniem „Jimmy”.
W 1967 przeprowadził się z żoną do Lynwood w Kalifornii. Później przez pewien czas prowadził w Los Angeles własny zespół. Oprócz jego puzonu oraz śpiewającej żony instrumentarium grupy składało się z saksofonów – tenorowego i barytonowego, tuby, trąbki, fortepianu, kontrabasu i perkusji. Grupa okazjonalnie występowała w klubie jazzowym Catalina Bar and Grill i innych miejscowych lokalach. Dawała też koncerty charytatywne.
Zmarł w wieku 82. lat. Został pochowany na National Cemetery w kalifornijskim Riverside.