Projekt upadł większością ośmiu głosów (w tym Fescha) wobec trzech, co sprowadziło na Fescha niełaskę cesarską i usposobiło doń pomyślnie Piusa VII.

W czasie 100 dni Napoleona kardynał stanął po stronie siostrzeńca i został mianowany parem Francji. Po bitwie pod Waterloo Fesch bojąc się prześladowań ze strony Burbonów osiadł w Rzymie, gdzie pozostał do końca życia, dzieląc wygnanie z siostrą Letycją i siostrzeńcem Lucjanem. Nie uległ naciskom rządu francuskiego i nigdy nie zrzekł się godności arcybiskupa Lyonu. Archidiecezja była w tych latach administrowana przez koadiutora.

Kolekcja Józef Fesch pozostawił kolekcję obrazów, której część zapisał miastom Lyon i Ajaccio. Oba miasta posiadają dziś muzea jego imienia. Kolekcjonował głównie malarstwo włoskiego renesansu. W skład jego kolekcji wchodziło w sumie około 16 tys. obrazów (niejednocześnie), w tym tak znane obrazy jak: Święty Hieronim na pustyni Leonarda da Vinci, Pokłon pasterzy Giorgione, Ukrzyżowanie Monda Rafaela. W 1856 wystawiono mu w Ajaccio statuę z brązu.

Bibliografia Nouvelle Biographie Générale, 1-42, Paris 1860