Frederick odebrał wykształcenie w Eton College i Christ Church na Uniwersytecie w Oksfordzie. Na studiach został przewodniczący Oxford Union Society. Uczelnię opuścił jednak po dwóch latach nauki nie zdobywając naukowego tytułu. Po śmierci ojca w 1841 r. został 5. baron Dufferin i Claneboye. W 1849 r. został Lordem-in-Waiting królowej Wiktorii. W 1850 r. otrzymał tytuł barona Claneboye w parostwie Zjednoczonego Królestwa, dzięki czemu zyskał prawo do zasiadania w brytyjskiej Izbie Lordów.
W 1856 r. Dufferin został przydzielony na szkuner Foam na którym odbył podróż przez północny Atlandtyk. Na początku odwiedził Islandię, gdzie zatrzymał się w Reykjavíku. Następnie odwiedził Þingvellir. W drodze powrotnej spotkał księcia Napoleona Józefa Bonaparte, który podróżował na północ. Podczas żeglugi na południe Dufferin przepływał obok wyspy Jan Mayen, ale nie wylądował na niej, gdyż uniemożliwiły mu to lody okalające wyspę. Następnie Foam popłynął do północnej Norwegii i po krótkim postoju w Hammerfest popłynął dalej na Spitsbergen. Po powrocie do Wielkiej Brytanii Dufferin opublikował książkę o swojej podróży zatytułowaną Letters From High Latitudes.