Robert miał w 1136 r. inne problemy niż sprawa sukcesji tronu. W południowo-wschodniej Walii wybuchł bunt przeciwko anglo-normandzkim osadnikom. W kwietniu Robert wyruszył na Walię i spędził tam rok, po czym doszedł do porozumienia z buntownikami i uznał tytuł Morgana ob Owaina, który przyjął tytuł króla Glamorgan. W tym czasie doszło do zerwania Roberta z królem Stefanem. Pod koniec 1137 r. Robert opuścił dwór królewski. Hrabia był zaniepokojony wzrastającą rolą dowódcy flamandzkich najemników, Wilhelma z Ypres, oraz bliźniaków Beaumont - Walerana, hrabiego Meulan, oraz Roberta, hrabiego Leicester. W 1138 r. Robert otwarcie opowiedział się po stronie Matyldy. Wkrótce został pokonany w Normandii przez Walerana de Meulan, a jego angielscy stronnicy ponieśli klęskę z rąk wojsk królewskich. Robert schronił się w swojej twierdzy w Bristolu.
Wojna domowa Wkrótce potem Robert zaryzykował i przeprawił się z Anglii do Andegawenii i połączył się z Matyldą. 30 września 1139 r. wojska Matyldy i Roberta wylądowały w Arundel i zostały przyjęte w pobliskim zamku. Robert natychmiast wyruszył do Bristolu. Wkrótce potem zamek Arundel został oblężony przez króla Stefana, który jednak zgodził się na odeskortowanie do Bristolu hrabiny Gloucester oraz cesarzowej Matyldy.