Szpitalnicy wnet wystąpili przeciwko Joannie i pociągnęli za sobą krewnych zmarłego Filipa, by poprzeć własnego kandydata na księcia – Jakuba de Baux, który księciem został w 1381.
Schyłek rządów Królowa popadła w konflikt z nowo wybranym w kwietniu 1378 papieżem Urbanem VI, który nie będąc do końca zdrowym psychicznie, zrażał do siebie wszystkich wokół, w tym Joannę, którą ogłosił heretyczką i schizmatyczką oraz ogłosił jej detronizację. Joanna szukając nowych sojuszników w walce z krewniakiem Karolem z Durazzo zdecydowała się poprzeć antypapieża Klemensa VII i usynowić brata króla Francji Ludwika, noszącego tytuł księcia Andegawenii (linia Anjou-Valois). Adopcja Ludwika zyskała akceptację Klemensa VII, jednak papież Urban VI poparł Karola z Durazzo, który już w 1369 został przez Joannę wyznaczony następcą tronu. Teraz jednak królowa uznała, że następcą w Neapolu będzie Ludwik książę Andegawenii. Karol z Durazzo postanowił walczyć o swe prawa i wspomagany przez rzymskiego papieża, Węgrów i część neapolitańskiej arystokracji pokonał wojska Joanny, którymi dowodził królewski małżonek Otto, uwięziony po klęsce w Altamurze. Po zwycięskiej bitwie Karol 16 lipca 1381 wkroczył do Neapolu, a Joanna zamknęła się w zamku Castel Nuovo. Następnie Karol zmusił Joannę do poddania się i uwięził królową w zamku Muro.