Jednak cesarz nadal nie dotrzymywał swoich zobowiązań finansowych. Krzyżowcy, Wenecjanie i Grecy coraz bardziej tracili do siebie zaufanie, do czego przyczyniały się starcia między łacinnikami a mieszkańcami miasta oraz piractwo Wenecjan na Morzu Marmara. W listopadzie 1203 cierpliwość krzyżowców się wyczerpała. Po kolejnej burzliwej naradzie przedstawiono cesarzowi ultimatum, żądając natychmiastowej zapłaty i grożąc rabunkiem miasta. Przyparty do muru Aleksy IV odmówił.
350px|thumb|left|Wejście krzyżowców do Konstantynopola, obraz Eugène Delacroix, 1840 Z początkiem grudnia 1203 zaczęły się drobne starcia zbrojne. Grecy wypadami z miasta nękali krzyżowców, którzy ze swojej strony gotowali się do szturmu. Dwukrotnie Grecy próbowali podpalić flotę wenecką. Sytuacja przedstawiała się raczej beznadziejnie dla krzyżowców, ponieważ ich zapasy topniały w oczach, a liczebność wojska nieubłaganie się zmniejszała.
Z pomocą przyszli im jednak sami Bizantyjczycy. Zbierając srebro i złoto na zapłatę dla krzyżowców Aleksy IV utracił resztki poparcia wśród ludu i arystokracji Konstantynopola, które już wcześniej zraził do siebie prołacińską postawą.