o Pierre Poisson z Mirepoix k. Carcassonne, który kierował pracami nad Starym Pałacem oraz Jeanie de Louvres, działającym przy budowie Nowego Pałacu.
Za czasów pontyfikatu papieża Urbana V (1362-1370) powstały nieistniejące dziś ogrody, które znajdowały się na wschód od zamku. Po ostatecznym przeniesieniu siedziby papieskiej do Rzymu w 1377 roku pałac awinioński zamieszkiwali antypapieże wielkiej schizmy (Klemens VII i Benedykt XIII), a następnie papiescy legaci. Jeszcze w dobie wielkiej schizmy zachodniej w 1398 roku Avignon był oblegany przez wojska Geoffreya Boucicauta, jednakże wojska antypapieża obroniły rezydencję przed najeźdźcą. Kres świetności Avignonu położyła rewolucja francuska, podczas której pałac i katedra zostały splądrowane, zaś w 1791 miała miejsce masakra w której zwolennicy rewolucji wymordowali swoich przeciwników. Ciała zabitych zostały wrzucone do Tour des Latrines, jednej z wież Starego Pałacu. Następnie obiekty zaadaptowano na więzienie i archiwa, co było zabiegiem bardzo destruktywnym dla zabytku. Dopiero w 1906 roku pałac został przekazany miastu z przeznaczeniem na muzeum.