Otrzymał propozycje pracy w orkiestrach „Króla Swingu” Benny’ego Goodmana oraz Tommy’ego Dorsey’a, ale odrzucił je, żeby podjąć w 1956 czasową współpracą z kwartetem pianisty Dave’a Brubecka. Zastąpił poprzedniego perkusistę Joego Dodge’a. Po dwumiesięcznym tournée Brubeck na stałe zatrudnił go w swoim zespole, w którym pozostał do 1967. Oprócz regularnych i częstych występów w kraju i za granicą, nagrał z Brubeckiem przeszło 60 albumów. Zagrał w skomponowanych przez pianistę utworach, należących do największych przebojów jazzu: Take Five, z którego pochodzi jego słynne solo, oraz Blue Rondo à la Turk. Oba utwory ukazały się w 1959 – na LP Time Out kwartetu Brubecka, oraz singlu, sprzedanym w przeszło milionowym nakładzie. W 1958 odwiedził Polskę, odbywając z The Dave Brubeck Quartet kilkumiesięczne, firmowane przez Departamentu Stanu, tournée „dobrej woli” po Azji i Europie. W okresie pracy z Brubeckiem nagrywał także z innymi liderami, takimi jak wibrafonista Gary Burton i gitarzysta Howard Roberts.