W 1954 wystąpił w tragedii szekspirowskiej Romeo i Julia w roli Romea. W 1955 debiutował na teatralnej scenie na nowojorskim Broadwayu w roli Angelo w sztuce Wyspa Kóz z Utą Hagen, za którą otrzymał nagrodę Theatre World. Powrócił na Broadway w komedii Williama Wycherleya Żona wiejska (1957) jako pan Horner i sztuce Williama Shakespeare’a Henryk V (1958) w roli króla Henryka V. W 1958 był reżyserem scenicznej komedii muzycznej Langstona Hughesa Simply Heavenly.
Przełomem w jego karierze była główna rola w melodramacie Jacka Claytona Miejsce na górze (1959), która przyniosła mu nominację do Oscara. Sukces ten otworzył mu drogę do kolejnych znaczących kreacji; m.in. w filmach: Alamo (1960; reż. John Wayne), Butterfield 8 (1960; reż. Daniel Mann), Przeżyliśmy wojnę (1962; reż. John Frankenheimer) czy Wspaniały świat braci Grimm (1962; reż. Henry Levin i George Pal).
Życie prywatne Harvey był trzykrotnie żonaty. W 1957 poślubił starszą o 6 lat brytyjską aktorkę Margaret Leighton. Para rozwiodła się 5 lat później. Kolejne małżeństwo, również zakończone rozwodem, zawarł w 1968 ze starszą o 17 lat amerykańską aktorką Joan Perry.