Otrzymał klasyczne wykształcenie muzyczne w Konserwatorium Wiedeńskim. Zanim wyemigrował do USA w 1959, grał już w różnych zespołach. Po przyjeździe do USA grał z Maynardem Fergusonem i Diną Washington, po czym przyłączył się do kwintetu Cannonballa Adderleya w 1961. W okresie gry u Adderleya, Zawinul napisał utwory takie jak Mercy, Mercy, Mercy, Walk Tall czy Country Preacher – ten ostatni w hołdzie dla lidera amerykańskiego ruchu praw obywatelskich, pastora Jesse'ego Jacksona. W tym nagraniu, które ukazało się na albumie z 1969, Zawinul-Austriak pokazał prawdziwe, osobiste zrozumienie dla afroamerykańskiego konceptu cool. Kiedy zadebiutował podczas sesji nagrań na żywo w Chicago dla organizacji Jacksona – Operation Breadbasket, został nagrodzony pełnymi entuzjazmu okrzykami świadczącymi o natychmiastowym uznaniu dla jego gry ze strony głównie publiczności afroamerykańskiej.
Pod koniec lat 60. Zawinul nagrywał wraz z zespołem studyjnym Milesa Davisa i pomógł w stworzeniu nowej konwencji w jazzie – muzyki fusion. Zagrał m.in. na albumie In a Silent Way, do którego napisał utwór tytułowy, oraz na Bitches Brew, do którego napisał dwudziestominutowy Pharaoh's Dance, który zajął całą pierwszą stronę płyty.