Wychowywali także Lucky'ego – syna Shuggiego i jego pierwszej żony – Mercy Fontenot, członkini grupy The GTOs.

W 1943 za radą Nata „Kinga” Cole’a i Jimmy’ego Witherspoona przeniósł się z rodziną do Los Angeles, żeby podjąć pracę w klubie The Albam w orkiestrze swingowej Rockets klarnecisty Harlana Leonarda. W 1945 właściciel The Albam zaproponował mu, żeby sformował swoją orkiestrę i prowadził ją jako klubową. Jeszcze w tym samym roku ukazał się na płycie jego pierwszy przebój, swingowy utwór Harlem Nocturne. Jego renoma jako perkusisty rosła i w tym czasie grywał jeszcze z wokalistą Wynoniem Harrisem (którego zespół sam powołał), pianistą i wokalistą Charlesem Brownem oraz saksofonistą Illinois Jacquetem. 7 września 1947 wraz ze swoją orkiestrą zagrał i zaśpiewał na trzecim dorocznym festiwalu Cavalcade of Jazz, który odbył się w parku rozrywki Wrigley Field w Los Angeles. W tym samym dniu wystąpili również big-band Woody’ego Hermana, The Valdés Orchestra, T-Bone Walker, Slim Gaillard, Sarah Vaughan, Joe Liggins and His Honeydrippers oraz grupy wokalne The Blenders i The Johnny Moore’s Three BlazersWoody Herman, Three Blazers, T-Bone, others on program – Review by Eddie Burbridge, „The California Eagle”, 4 września 1947.