3 lipca 1952 został mianowany biskupem koadiutorem St. Pölten (z prawem następstwa); jednocześnie otrzymał biskupią stolicę tytularną Liviade. Został konsekrowany na biskupa 31 sierpnia 1952. Nie objął jednak diecezji St. Pölten, w maju 1956 został awansowany na arcybiskupa Wiednia. W latach 1959–1968 był także wikariuszem wojskowym Austrii; ponadto kierował Konferencją Episkopatu Austrii.
15 grudnia 1958 papież Jan XXIII wyniósł go do godności kardynalskiej, nadając tytularny kościół prezbiterski S. Eusebio. Brał aktywny udział w obradach II soboru watykańskiego: wywarł wpływ na treść Deklaracji o stosunku Kościoła do religii niechrześcijańskich „Nostra aetate”. Jako kardynał uczestniczył w konklawe 1963 i dwukrotnie 1978, a także kierował Sekretariatem ds. Niewierzących (1965-1980). Brał także udział w sesjach Światowego Synodu Biskupów w Watykanie, w tym jako przewodniczący sesji w 1974 (III Sesja Zwyczajna).
W 1984 był specjalnym wysłannikiem papieża na Narodowy Kongres Eucharystyczny w Chorwacji. Rok później, po ukończeniu 80 lat, utracił czynne prawo wyborcze w konklawe, a także (we wrześniu 1985) złożył rezygnację z kierowania archidiecezją wiedeńską. Był ostatnim żyjącym kardynałem z nominacji Jana XXIII.