Gotfryd z Villehardouin, kronikarz krzyżowców, twierdzi, że po powrocie z Tracji cesarz przestał im sprzyjać, chociaż historyk grecki Niketas Choniates podkreśla, że nadal odwiedzał obóz krzyżowców biorąc udział w ich niewybrednych zabawach. Podczas jednej z nich miał pozwolić zdjąć sobie diadem cesarski i założyć baranią czapkę. Niewątpliwie w tym czasie rozpoczyna się kariera Aleksego Dukasa zwanego Murzuflosem, zięcia Aleksego III, przedstawiciela a wkrótce przywódcy partii wojennej, który został mianowany przez cesarza protovestiariosem (dosłownie: przełożonym nad garderobą cesarską).
Zbliżenie Aleksego IV z dawnymi stronnikami Aleksego III, eksponowanie osoby młodego cesarza kosztem starego – Izaaka II doprowadziło do napięć między synem a ojcem. Jednocześnie dwuznaczne postępowanie Aleksego i brak kolejnych wypłat spowodowały, że pod koniec listopada delegacja złożona z sześciu znamienitych krzyżowców, wśród których znaleźli się Godfryd Villehardouin i Conon z Béthune, postawiła obu cesarzom ultimatum: jeśli nie dopełnią danego przyrzeczenia „zrobimy wszystko, aby otrzymać to, co się nam należy”. Niezależnie od krzyżowców próbę wpłynięcia na młodego cesarza podjął również doża wenecki, który spotkał się z Aleksym przed portem.