9 września 1862 r. lord Dufferin zmienił swoje nazwisko dodając doń człon „Hamilton”. Niedługo potem, 23 października 1862 r., poślubił Hariot Rowan-Hamilton (5 lutego 1843 – 25 października 1936), córkę Archibalda Rowana-Hamiltona. 13 listopada 1872 r. dodał do nazwiska człon „Temple”. Frederick i Hariot mieli razem czterech synów i trzy córki: Archibald James Leofric Temple Hamilton-Temple-Blackwood (28 lipca 1863 – 11 stycznia 1900), hrabia Ava Helen Hermione Hamilton-Temple-Blackwood (1865 – 9 kwietnia 1941), dama Krzyża Wielkiego Orderu Imperium Brytyjskiego, żona Ronalda Munro-Fergusona, 1. wicehrabiego Novar, nie miała dzieci Terence John Temple Hamilton-Temple-Blackwood (16 marca 1866 – 7 lutego 1918), 2. markiz Dufferin i Ava Hermione Catherine Helen Hamilton-Temple-Blackwood (1869 – 19 października 1960), służyła jako pielęgniarka we Francji podczas I wojny światowej, odznaczona Medaille de Reconnaissance Francaise Ian Basil Gawaine Temple Hamilton-Temple-Blackwood (4 listopada 1870 – 3 lipca 1917) Victoria Alexandrina Hamilton-Temple-Blackwood (1873 – 1938), żona Williama Plunketa, 5. baron Plunket, i pułkownika Francisa Powella Braithwaite'a, miała dzieci z pierwszego małżeństwa Frederick Temple Hamilton-Temple-Blackwood (26 lutego 1875 – 21 lipca 1930), 3.