W drugiej połowie lat 60. zagrał Guptę w dramacie Israela Horovitza The Indian Wants the Bronx, który w 1968 był wystawiany w Astor Place w Nowym Jorku. Za rolę w spektaklu zdobył nagrodę Obie. Następnie zagrał w kolejnym dramacie Horovitza – Line, w którym wcielił się w postać Dolana. Podczas jednego z występów w Theatre de Lys został dostrzeżony przez Francisa Forda Coppolę i Freda Roosa, którzy zaproponowali mu rolę Frederica Corleone w Ojcu chrzestnym (1972). Rola jednego z braci-mafiosów okazała się jego najbardziej znaną kreacją filmową}. W 1974 wystąpił jako Stan w Rozmowie Coppoli i powrócił do roli Frederico Corleone w Ojcu chrzestnym II. W 1975 zagrał Sala w dramacie Sidneya Lumeta Pieskie popołudnie.
W latach 1976–1978 był w związku z aktorką Meryl Streep, którą poznał w trakcie przygotowań do spektaklu Josepha Pappa Miarka za miarkę, w którym zagrał Angelo.
Na planie filmowym swego ostatniego filmu Łowca jeleni (1978) pracował, będąc już ciężko chorym na nowotwór płuca.