Wystąpił tam tylko w zjeździe, w którym zajął piątą pozycję, tracąc do brązowego medalisty Wernera Grissmanna z Austrii 0,31 sekundy. Ponadto w sezonach 1974/1975 i 1976/1977 Klammer zajmował trzecie miejsce w klasyfikacji generalnej PŚ, najpierw ulegając tylko Gustavowi Thöniemu z Włoch i Ingemarowi Stenmarkowi ze Szwecji, a następnie Stenmarkowi i swemu rodakowi Klausowi Heideggerowi.
Przez trzy kolejne sezony Austriak nie potrafił wrócić do formy z lat poprzednich i ani razu nie stanął na podium. Z powodu słabszej dyspozycji nie znalazł się w kadrze Austrii na igrzyska olimpijskie w Lake Placid w 1980 roku. Na kolejny sukces czekał do 6 grudnia 1981 roku, kiedy wygrał zawody Pucharu Świata w Val d'Isèr. W sezonie 1980/1981 na podium znalazł się jednak jeszcze tylko jeden raz: 16 stycznia w Kitzbühel był drugi w zjeździe. W klasyfikacji generalnej był ostatecznie czternasty, a w klasyfikacji zjazdu piąty. Wziął także udział w mistrzostwach świata w Schladming w 1982 roku, gdzie w swojej koronnej konkurencji był tym razem siódmy. Ostatnie trofeum zdobył w sezonie 1982/1983, kiedy po raz piąty w karierze zwyciężył w klasyfikacji końcowej Pucharu Świata w zjeździe.