Kolejna przebudowa (1593) przekształciła pałac w fortecę. Następne rekonstrukcje wymusiły uszkodzenia budowli podczas oblężeń Saragossy w wojnach napoleońskich. Choć dziś pałac znajduje się w obrębie miasta, jego kontekst jest częściowo zachowany dzięki założeniom parkowo-ogrodowym wokół.

Elementy kompleksu Wieża Trubadura (La torre del Trovador) Najstarszy budynek kompleksu, czerpiący swa nazwę od powieści romantycznej „Trubadur” (1836), której akcja toczy się głównie w Aljaferii. Powieść ta stała się librettem opery „Il trovatore” Giuseppe Verdiego.

Przypuszcza się, że Wieża Trubadura powstała w miejscu dawnej wieży obozu rzymskiego. W IX-X w. pełniła funkcję strażnicy i bastionu obronnego, otoczonego fosą. Do pałacu został włączony dopiero przez rodzinę Banu Hud jako jedna z wież obronnych ściany północnej. W 1468 wieża stała się lochem Inkwizycji.