Po przejściu kardynała Agostina Casaroliego w stan spoczynku objął 1 grudnia 1990 stanowisko prosekretarza stanu. Po nominacji kardynalskiej (czerwiec 1991) został pełnoprawnym sekretarzem stanu. Wyniesiony do godności kardynała 28 czerwca 1991 przez papieża Jana Pawła II, otrzymał tytuł prezbitera S. Maria Nuova. Wielokrotnie reprezentował papieża na uroczystościach religijnych i rocznicowych w charakterze legata lub specjalnego wysłannika, m.in. na uroczystościach 1000-lecia archidiecezji gnieźnieńskiej w marcu 2000. Pełnił funkcję prezydenta-delegata na IV konferencji generalnej Episkopatów Latynoamerykańskich w Santo Domingo (Dominikana) w październiku 1992. W styczniu 1994 został promowany na kardynała biskupa, otrzymał podmiejską stolicę biskupią Albano.
W 1997 r. jako wysłannik papieża Jana Pawła II przewodniczył uroczystościom pogrzebowym Matki Teresy z Kalkuty.
Wraz ze śmiercią Jana Pawła II (2 kwietnia 2005) utracił stanowisko sekretarza stanu, ale został ponownie mianowany przez kolejnego papieża Benedykta XVI. Przed konklawe w 2005 wymieniany był jako jeden z papabili.