W czerwcu 1569, komisja kardynalska orzekła, że zabójstwo z 1559 zostało mu już przebaczone przez Piusa IV w 1561, zaś pozostałe jego przestępstwa sprowadzają się do „zwykłego cudzołóstwa”, wobec czego nie powinny zakończyć się degradacją w hierarchii kościelnej. Jednak wobec braku skruchy, Pius V skazał go na banicję do Monte Cassino i nałożył na niego areszt domowy, który początkowo miał trwać jeden miesiąc, ale następnie był systematycznie przedłużany. Pozostał tam przez dwa lata, po upływie których, wobec doniesień o poprawie jego zachowania, Pius zezwolił mu na przeniesienie do klasztoru w Bergamo. Powrócił do Rzymu dopiero po śmierci Piusa V. Nie zdążył wprawdzie na konklawe, ale koronował (jako protodiakon) nowego papieża Grzegorza XIII. W 1574 był wymieniany wśród członków dwóch kongregacji kardynalskich (ds. petycji od książąt oraz ds. ceremonii). Zmarł w Rzymie, w Dzień Zaduszny 1577 roku.
Relacje z Juliuszem III Charakter relacji między Innocenzo a jego patronem Juliuszem III niemal od samego początku był przedmiotem kontrowersji.