W 1944 otrzymał powołanie do wojska. Został przydzielony do The Tuskegee Airmen, jednostki lotniczej dla Afroamerykanów, w której odbył szkolenie pilota na myśliwcach P-40 Warhawk i P-47 Thunderbolt. Po zakończeniu II wojny światowej odszedł z wojska w stopniu podporucznika, nigdy nie uczestnicząc w działaniach bojowych.
Zdecydowawszy, że zostanie muzykiem, kupił kontrabas i w 1946 podjął naukę w The Granoff School of Music w Filadelfii. W tym czasie współpracował z pianistą Redem Garlandem. Następnie otrzymał angaż w zespole miejscowego klubu Down Beat. Poznał wtedy trębacza bebopowego Howarda McGhee i wraz ze swoim bratem Jimmym, saksofonistą, dołączył w 1947 do jego sekstetu. W 1949 jako członkowie zespołu McGhee wystąpili na pierwszym Międzynarodowym Festiwalu Jazzowym w Paryżu. Po powrocie z Europy bracia Heathowie zamieszkali w Nowym Jorku. Tam Percy współpracował z ikonami powojennego jazzu – Charlie’em Parkerem, Theloniousem Monkiem, Milesem Davisem i Sonnym Rollinsem. W latach 1950–1952 on i Jimmy ponownie połączyli siły, grając w sekstecie Dizzy’ego Gillespiego. W 1951 czterej członkowie zespołu Gillespiego założyli jedną z najsłynniejszych formacji jazzowych – Modern Jazz Quartet (MJQ). Byli to: pianista John Lewis, wibrafonista Milt Jackson, kontrabasista Ray Brown i perkusista Kenny Clarke.