Tuż po swoim urodzeniu Robert został uznany przez ojca. Mało prawdopodobne jest, że wychowywał się na królewskim dworze. Otrzymał gruntowne wykształcenie: władał biegle łaciną i interesował się historią i filozofią, co może świadczyć o wychowywaniu na dworze biskupim. Historycy wskazują na dwór biskupa Worcester, a jednocześnie kapelana królewskiego, Samsona. Ok. 1104 r. urodziło się pierwsze dziecko Roberta i niektórzy historycy uważają, że było ono dzieckiem córki biskupa Samsona.
W 1113 r. Robert pojawił się na dworze normandzkim. Ok. 1114 r. poślubił Mabel, najstarszą córkę Roberta Fitzhamona, która wniosła mu w posagu dobra ziemskie w Gloucestershire, Glamorgan w Walii oraz Sainte-Scholasse-sur-Sarthe i Évrecy w Normandii, oraz Creully. W 1121 r. (lub 1122) ojciec nadał Robertowi tytuł hrabiego Gloucester.