W 1095 odpowiedział na wezwanie Urbana II i zdecydował się wyruszyć na wyprawę krzyżową u boku Gotfryda z Bouillon. Nie chciał się przyłączyć do stryja, z którym wciąż pozostawał w złych stosunkach. W celu jej sfinansowania sprzedał biskupowi Liège Otbertowi zamek Couvin w zamian za obietnicę powołania dwóch jego synów w skład kapituły katedralnej. Po udanym oblężeniu Antiochii w 1098 został wysłany przez Gotfryda razem z Hugonem z Vermandois na misję do cesarza Aleksego I Komnena, aby poprosić go o wsparcie. Baldwin zaginął po drodze, prawdopodobnie został zabity przez muzułmanów. Ponieważ nie znaleziono jego ciała, jeszcze w 1106 jego żona Ida zorganizowała w Anatolii jego poszukiwania. W 1098 władzę w Hainaut przejął jego 10-letni syn Baldwin III, którego regentką została wdowa po nim.
Małżeństwo i potomstwo Baldwin ożenił w 1084 się z Idą z Leuven (Louvain) (zm. 1139), córką Henryka II i Adeli z Betuwe. Doczekali się razem dziewiątki lub dziesiątki dzieci: Idy (ur. ok. 1085, zm. po 1105), żony Tomasza I, hrabiego Amiens, seniora de Coucy; nieznanej z imienia córki, żony Teodryka z Avesnes; Baldwina III (ur. ok. 1088, zm. 1120), kolejnego hrabiego Hainaut; Arnolda (zm.