Kiedy Brown, na którym początkowo Percy się wzorował, przeszedł do orkiestry swojej żony – Elli Fitzgerald, właśnie Percy zastąpił go w kwartecie w 1952. W zespole grał do jego rozwiązania w 1974. W tym czasie pobrał lekcje u Charlesa Mingusa, żeby poprawić intonację instrumentu. MJQ został reaktywowany w 1983 i z przerwami działał do 1997.
Zanim w 1975 założył wraz z braćmi grupę The Heath Brothers, pracował z Sarą Vaughan. W zespole braci na fortepianie grał Stanley Cowell. The Heath Brothers występowali i nagrywali przez ponad dwadzieścia lat. W późniejszym okresie istnienia zespołu Percy częściej niż na kontrabasie grał na wiolonczeli.
W 2003 nagrał swój pierwszy album jako lider. Płyta, opatrzona tytułem A Love Song, ukazała się w 2004. W jej nagraniu wziął udział m.in. jego brat Albert. Jako sideman w ciągu przeszło 57-letniej kariery wziął udział w ponad trzystu sesjach nagraniowych.
Przez szereg lat zmagał się z nowotworem kości. Niestety choroba okazała się silniejsza. Zmarł dwa dni przed 82. rocznicą urodzin.
Małżeństwo i dzieci Był żonaty z June. Ich związek trwał do końca jego życia. Mieli trzech synów: Percy’ego juniora, Jasona i Stuarta.