Wczesne lata życia thumb|Horatio Walpole, brat Roberta Walpole urodził się w 1676 r. w rodzinie, która zyskała na znaczeniu już w trakcie XIII wieku. Ojciec Walpole’a, Robert Walpole senior, dobrze gospodarował swoimi dobrami w Houghton Hall, interesując się holenderskimi nowinkami agrotechnicznymi. Matką Walpole’a była Mary Burwell, a on sam piątym dzieckiem (trzecim synem) z dziewiętnaściorga rodzeństwa. W 1690 r. rozpoczął naukę w Eton College, a w 1696 r. studia w King’s College na Uniwersytecie Cambridge. W 1698 r., po śmierci swoich starszych braci, porzucił studia, by pomóc ojcu w zarządzaniu rodzinnym majątkiem.
30 lipca 1700 r. poślubił Catherine Shorter (1682 – 20 sierpnia 1737), córkę bałtyckiego handlarza sir Johna Shortera i Elizabeth Philipps. Robert i Catherine mieli razem czterech synów i dwie córki: Robert Walpole (1701 – 31 marca 1751), 2. hrabia Orford Katherine Walpole (13 maja 1703 – 22 października 1722) Horatio Walpole (1704 – 24 lipca 1704) Mary Walpole (ok. 1705 – 2 stycznia 1732), żona George’a Cholmondeleya, 3. hrabiego Cholmondeley, miała dzieci Edward Walpole (1706-1784), jego córka, Maria Walpole, poślubiła najpierw Jamesa Waldegrave’a, 2. hrabiego Waldegrave, a następnie Wilhelma Henryka Hanowerskiego, księcia Gloucester i Edynburga Horace Walpole (24 września 1717 – 2 marca 1797), 4.