Od 1992 do 2003 roku był dyrektorem artystycznym Philadelphia Orchestra, z którą odbył liczne tournée koncertowe, a w sezonie 1999/2000 świętował stulecie jej istnienia.
Odznaczony został austriackim Krzyżem Honorowym za Naukę i Sztukę, Bawarskim Orderem Zasługi, Wielkim Krzyżem Zasługi z Gwiazdą Orderu Zasługi Republiki Federalnej Niemiec, Orderem Maksymiliana, japońskim Orderem Wschodzącego Słońca klasy Złote Promienie ze Wstęgą, orderem kawalera Legii Honorowej, komandorią francuskiego Orderu Sztuki i Literatury oraz wielkim krzyżem Orderu Zasługi Republiki Włoskiej.
Twórczość Ceniony był jako wykonawca utworów Ludwiga van Beethovena, Johannesa Brahmsa, Roberta Schumanna i Richarda Straussa. Od 1955 roku współpracował z wytwórnią płytową EMI. W 1993 roku otrzymał Gramophone Classical Music Award i Toscanini Gold Baton.
Występował też jako pianista kameralista i akompaniator, współpracując z takimi wykonawcami jak Dietrich Fischer-Dieskau, Elisabeth Schwarzkopf, Peter Schreier, Hermann Prey i Margaret Price. W 1949 roku, występując w duecie ze skrzypkiem Gerhardem Seitzem, otrzymał II nagrodę (I nie przyznano) na międzynarodowym konkursie muzycznym w Genewie.