Robert uległ ich namowom i z silną armią wylądował w Portsmouth w 1101 r. Nie zyskał jednak poparcia wśród ludności Anglii. Jego działania były zbyt opieszałe i król Henryk zdołał utrzymać się na tronie. Robert wrócił do Normandii i zawarł z bratem ugodę w Alton, w której zrzekał się pretensji do angielskiego tronu w zamian za roczną pensję w wysokości 3000 marek.
Porozumienie między braćmi przetrwało do 1105 r. Robert nadal chciał zdobyć koronę Anglii, a i Henryk łakomym okiem patrzył za kanał La Manche, gdzie normandzcy feudałowie coraz mniej liczyli się ze zdaniem swojego księcia. Nie cieszył się on też sympatią hierarchii kościelnej. Zraził do siebie wpływowego biskupa Sées, Serla. Na Wielkanoc 1105 r. książę miał wysłuchać kazania wygłoszonego przez biskupa. Jednak noc przed kazaniem spędził zabawiając się z prostytutkami i kiedy spał zamroczony alkoholem, ktoś ukradł mu ubranie. Gdy rano Robert obudził się i zorientował, że jest nagi, zrezygnował z wysłuchania kazania. Biskup był tym faktem wielce obrażony.