W zamian za uznanie zwierzchnictwa Baldwina Bonifacy uzyskał potwierdzenie nadania lenna i dowództwo nad siłami krzyżowców operującymi w Grecji.
Zimą 1204–1205 Baldwin, przy pomocy swojego brata Henryka, rozszerzał tereny cesarstwa w Bitynii. W lutym 1205 nastąpiła jednak rewolta grecka w Tracji, której mieszkańcy zwrócili się do bułgarskiego cara Kałojana o opiekę. Powstańcy usunęli łaciński garnizon Adrianopolu, na co Baldwin zareagował oblężeniem miasta. Rozpoczęło się ono 29 marca 1205. Znacznie liczniejsze siły bułgarskie pod dowództwem Kałojana wyruszyły na odsiecz. 14 kwietnia 1205 pod murami Adrianopola siły bułgarskie stoczyły decydującą bitwę z łacinnikami. Brak jednolitego dowództwa i nadmierna brawura zachodniego rycerstwa sprawiły, że liczniejsze wojska bułgarskie nie miały problemów z otoczeniem obozu krzyżowców. Baldwin oświadczył, że nie ucieknie z pola bitwy. Do wieczora wojsko cesarstwa łacińskiego przestało istnieć. Na polu bitwy pozostało wielu największych dygnitarzy nowego Cesarstwa (Ludwik z Blois, biskup Piotr z Betlejem i inni). Pod osłoną nocy krzyżowcy opuścili plac boju.