Latem 1219 krzyżowcy zaczęli bombardować Damiettę przy użyciu machin oblężniczych. Próbowali kolejnych szturmów, ale jednocześnie musieli bronić własnego obozu przed natarciami muzułmanów. Wśród krzyżowców dochodziło też do sporów o przywództwo pomiędzy królem Janem a kardynałem Pelagiuszem. 29 sierpnia 1219 część armii krzyżowej zaatakowała bez rozkazu obóz Al-Kamila. Bitwa ta niemal doprowadziła do klęski całej wyprawy.
Obie strony były zmęczone wielomiesięcznym oblężeniem i postanowiły zawrzeć rozejm. Według podań w rozmowach z Al-Kamilem miał brać udział Franciszek z Asyżu. We wrześniu 1219 ustalono warunki rozejmu, choć krzyżowcy odrzucili propozycję trwałego pokoju. Zawieszenie broni trwało tylko kilkanaście dni, bowiem już 24 września muzułmanie zaatakowali obóz krzyżowców. W październiku Al-Kamil wystąpił z kolejną propozycją. Zaoferował krzyżowcom zwrócenie m.in. Jerozolimy i znacznych terenów w Palestynie w zamian za wycofanie się z Egiptu. Jan z Brienne był gotów zawrzeć pokój, ale Pelagiusz zażądał odrzucenia warunków. Przeważyło zdanie tego ostatniego.