W 1947 uzależnił się od heroiny. Brał najwięcej spośród członków orkiestry Hermana, był też jej głównym „aptekarzem”, gdyż dostarczał kolegom narkotyki, często dystrybuując je za zasłoną z koca z tyłu jadącego autokaru. Wciągnął w nałóg wielu muzyków. Oskarżano go także o doprowadzenie do śmierci spowodowanej heroiną 21-letniego ww. Bermana. Ponadto popadł także w alkoholizm. Jego postępowanie wywoływało ostre spięcia między nim a Hermanem. W rezultacie w 1949 bandlider rozwiązał The Second Herd, zmieniając ją w mniejszy zespół. Nawet sobie nie wyobrażacie, jak wspaniale jest widzieć moją nową grupę, w której nikt nie śpi, ani nie zaśnie w środku utworu, i wszyscy są trzeźwi – powiedział w 1950 miesięcznikowi jazzowemu „DownBeat”.
Po rozstaniu z Hermanem zamieszkał w Nowym Jorku. Jednak ze względu na swój heroinizm i związane z nim zachowania (m.in. opuszczanie pracy lub stawianie się w niej w stanie uniemożliwiającym grę) był uznawany przez środowisko jazzowe za persona non grata i praktycznie nie mógł znaleźć angażu. Mimo to zdołał założyć zespół z pianistą Budem Powellem i puzonistą Earlem Swope. Przez kilka miesięcy 1950 grał w All Star Octet pianisty Counta Basiego, który podobnie jak Herman rozwiązał swój big-band.