markiz Dufferin i Ava
Wkrótce po ślubie Dufferin musiał stawić czoło towarzyskiemu skandalowi, kiedy jego matka poślubiła o 17 lat od niej młodszego lorda Gifforda, który jednak zmarł kilka tygodni po ślubie. Mimo dezaprobaty dla drugiego małżeństwa matki Dufferin bardzo przeżył jej śmierć w 1867 r. Na cześć matki wybudował wówczas Helen's Tower na posiadłości Cladeboye. Jej imieniem nazwał również położoną niedaleko zatokę (Helen's Bay).
Gubernator generalny Kanady Po śmierci matki kariera Dufferina nabrała rozpędu. W 1868 r. objął stanowiska Kanclerza Księstwa Lancaster i Paymaster-Generał w rządzie Williama Ewarta Gladstone’a. W 1872 r. otrzymał nominację na trzeciego gubernatora generalnego Kanady. Na tym stanowisko pozostawał przez 6 lat, które były ważnym okresem w historii Kanday. Do kanadyjskiej federacji przyłączyła się wówczas Wyspa Księcia Edwarda. Powstał również kanadyjski Sąd Najwyższy, Royal Military College of Kanada oraz rozpoczęto budowę międzynarodowej linii kolejowej. Sam Dufferin uważał, że dwaj jego poprzednicy nie nadali urzędowi gubernatora takiej pozycji na jaką zasługiwał. On sam odgrywał aktywną rolę na kanadyjskiej scenie politycznej. Starał się jak najczęściej spotykać z Kanadyjczykami. Kontakt z miejscową ludnością ułatwiała mu znajomość języka francuskiego.