Ostatecznie Aleksy zapowiedział krzyżowcom i Wenecjanom, że nie zapłaci im w umówionym terminie, lecz w marcu 1204 roku oraz zaproponował, by do tego czasu pozostali w okolicach miasta. Mimo kolejnej fali wrzenia w szeregach krzyżowców na naradzie dowódców propozycja Aleksego została przyjęta.
Jednak cesarz nadal nie dotrzymywał swoich zobowiązań finansowych. Krzyżowcy, Wenecjanie i Grecy coraz bardziej tracili do siebie zaufanie, do czego przyczyniały się starcia między łacinnikami a mieszkańcami miasta. W listopadzie cierpliwość krzyżowców się wyczerpała. Po kolejnej burzliwej naradzie przedstawiono cesarzowi ultimatum, żądając natychmiastowej zapłaty i grożąc rabunkiem miasta. Aleksy IV odmówiłW.Weir, s.56..
Z początkiem grudnia zaczęły się drobne starcia zbrojne. Grecy wypadami z miasta nękali krzyżowców, którzy ze swojej strony gotowali się do szturmu. Dwukrotnie Grecy próbowali podpalić flotę wenecką. Sytuacja przedstawiała się raczej beznadziejnie dla krzyżowców, ponieważ ich zapasy topniały w oczach, a liczebność wojska nieubłaganie się zmniejszała.