W 1862 wyjechał do Wielkiej Brytanii, a gdzie zorganizował wystawę sztuki japońskiej podczas wystawy światowej w Londynie. W 1863 otrzymał doktorat honoris causa Uniwersytetu Oksfordzkiego, a rok później wrócił, by kontynuować swoją misję w Japonii. W tym czasie wzrost napięć w Japonii doprowadził ostatecznie do interwencji flot zachodnich i ataku na Shimonoseki. W 1865 roku przeniesiony do Chin, gdzie jako Poseł nadzwyczajny i minister pełnomocny reprezentował Wielką Brytanię do 1871. Wróciwszy do ojczyzny pełnił liczne funkcje publiczne, w tym przewodniczącego Królewskiego Towarzystwa Geograficznego (1876–1878) i wiceprzewodniczącego Royal Asiatic Society (1875–1878); popularyzował kulturę Japonii w licznych publikacjach, z których najważniejsze to The Capital of the Tycoon (1863) i Art and Art Industries in Japan (1878).
Jego pierwszą żoną była Henrietta Mary z domu Bacon, którą poślubił 17 maja 1841. Po jej śmierci w 1853, 8 lipca 1862 ożenił się powtórnie z Lucy Lowder, wdową po misjonarzu T. Lowderze, kapelanie misji szanghajskiej. Oba małżeństwa były bezpotomne.