Kolejną nominację do nagrody Złotego Globu przyniosła mu tytułowa rola doktora Johna Dolittle w musicalu familijnym fantasy Richarda Fleischera Doktor Dolittle (Doctor Dolittle, 1967), zrealizowanym na podstawie cyklu powieści dla dzieci autorstwa Hugh Loftinga.
W ostatnich latach życia rzadko pojawiał się w filmach i skupił się na pracy teatralnej. W 1989 otrzymał tytuł szlachecki.
Harrison był sześciokrotnie żonaty. W latach 1933–1942 był żonaty z Noel Marjorie Collette Thomas, z którą miał syna Noela Johna Christophera (ur. 29 stycznia 1934, zm. 19 października 2013 na zawał mięśnia sercowego w wieku 79 lat). 25 stycznia 1943 poślubił Lilli Palmer, z którą miał syna Rexa Careya Alfreda (ur. 19 lutego 1944, zm. 22 stycznia 2025 w wieku 80 lat). W 1947, będąc w związku małżeńskim z Palmer, Harrison rozpoczął romans z aktorką Carole Landis. Landis odebrała sobie życie w 1948 po spędzeniu wieczoru z Harrisonem. Harrison nie zamierzał dla niej rozwieść się z Lilli Palmer. Zaangażowanie Harrisona w skandal, polegające na kilkugodzinnym czekaniu przed wezwaniem lekarza i policji, na krótko zaszkodziło jego karierze, a jego kontrakt z Fox został rozwiązany za obopólną zgodą. 6 lutego 1957 doszło do rozwodu z Lilli Palmer. 22 czerwca 1957 zawarł związek małżeński z Kay Kendall, która zmarła 6 września 1959.