Czas tej współpracy (1946–1952) to jeden z lepszych okresów w życiu muzyka, chociaż właśnie wtedy uzależnił się od heroiny i od tej pory jego muzyczna kariera przerywana była przez kilkakrotne (spowodowane zażywaniem narkotyków) pobyty w więzieniu: w latach 1954–1956, 1960–1961, 1961–1964 i 1964–1965. Ostatnie dwa wyroki odsiedział w San Quentin. Pod koniec lat sześćdziesiątych, w okresie współpracy z Buddy Richem, stan zdrowia Peppera bardzo się pogorszył i w rezultacie lata 1969–1971 muzyk spędził w Synanon, ośrodku leczenia dla narkomanów. Gdy w połowie lat 70. rozpoczął terapię metadonem wrócił do koncertowania i nagrał kilka płyt m.in.: Living Legend, Art Pepper Today, Among Friends i Live in Japan: Vol. 2.
W swej autobiografii zatytułowanej Straight Life (1980), spisanej przez jego trzecią żonę Laurie Pepper, omawia zarówno świat jazzu, jak również i narkotyków oraz – znaną mu przecież z autopsji – subkulturę kryminalistów Kalifornii z połowy XX wieku. O jego życiu opowiada dokumentalny film Art Pepper: Notes from a Jazz Survivor.
Pepper zmarł na udar mózgu 15 czerwca 1982 w Panorama City (Los Angeles). Pochowany został na Hollywood Forever Cemetery, położonym przy Santa Monica Boulevard 6000.