Regularną pracę przerywały jednak choroba i alkohol, ale zawsze powracał do grania. Po krótkotrwałych angażach w big-bandach Charliego Spivaka, Claude’a Thornhilla, Artiego Shawa i Woody’ego Hermana w 1942 rozpoczął służbę w U.S. Navy. Grał wtedy w orkiestrze wojskowej, którą kierował Artie Shaw. Z uwagi na komplikacje zdrowotne w niedługim czasie został zwolniony ze służby. Po wyjściu z wojska powrócił w 1945 do big-bandu Hermana (The First Herd) i stał się perkusistą wzorcowym. Nigdy jednak nie lubił i prawie nie grywał partii solowych. Był jednym z niewielu muzyków dixielandowych, którzy doskonale radzili sobie również z bebopem, za którym jednak nie przepadał. Później pracował w zespołach m.in. Eddiego Condona, skrzypka Jerry’ego Graya, kornecisty Muggsy’ego Spaniera i puzonisty Willa Bradleya. Uczestniczył także w koncertach Jazz at the Philharmonic. W środowisku jazzowym uchodził zarówno za wybitnego perkusistę, jak intelektualistę, zwłaszcza że niekiedy wspominał o swoich planach pisarskich.