Pokój podpisany w styczniu 1241 roku w Lorris zobowiązywał go do wygnania heretyków i udania się na krucjatę do Ziemi Świętej.
Rajmund miał dołączyć do króla Ludwika na miejscu, Ludwik 25 sierpnia 1248 wypłynął z portu śródziemnomorskiego w Aigues-Mortes w kierunku Egiptu. Towarzyszyć bratu mieli Alfons z Joanną. Oboje powinni wsiąść na statek w Marsylii, jednak spóźnili się i wyruszyli dopiero na wiosnę przyszłego roku, gdy rozpoczął się nowy sezon żeglugowy. Mimo początkowych sukcesów wyprawa okazała się klęską, a król, a wraz z nim Alfons dostali się do niewoli, Joanna była w tym czasie w bezpiecznym miejscu wraz z żoną Ludwika IX Małgorzatą. Po wykupie król postanowił pozostać w Palestynie, natomiast jego brat Karol Andegaweński, Alfons i Joanna powrócili do Francji, gdzie regencję sprawowała ich matka Blanka Kastylijska. Alfons został współregentem. Stan ten trwał aż do powrotu Ludwika, w lipcu 1254 roku.