W 1078 biskup Sylwester de La Guerche został złożony z urzędu przez legata Grzegorza VII, a ponieważ Robert poparł wybór Sylwestra, został zmuszony do opuszczenia diecezji.
Robert wznowił wówczas swoje studia w Paryżu, które przerwał wezwany przez przywróconego na swój urząd biskupa Sylwestra. Służył odtąd jako archiprezbiter Sylwestra, skutecznie zarządzając diecezją Rennes. Biskup Sylwester z pomocą Roberta usiłował przeprowadzić reformy, które jednak wywołały sprzeciw ze strony duchowieństwa bretońskiego. Po śmierci biskupa około 1093 roku Robert musiał uciekać do Angers, gdzie oddał się kontynuowanej przez resztę życia ascezie.
W 1095 został pustelnikiem w lesie Craon (na południowy zachód od Laval). Wraz z oraz , późniejszymi reformatorami życia zakonnego, prowadził surowe życie pokutnika. Jego pobożność, elokwencja i asceza przyciągały wielu naśladowców. Dlatego już w 1096 roku założył klasztor kanoników regularnych w La Roë, sam zostając pierwszym opatem. W tym samym roku Urban II wezwał go do Angers i powierzył misję apostolską, upoważniającą do głoszenia kazań poza granicami własnej diecezji. Opiekę nad Robertem roztoczył także Hildebert, biskupa Le Mans.