Zdobył złote medale w wyścigach czwórek na 1000 metrów oraz na 10 000 metrów na mistrzostwach świata w 1958 w Pradze (również razem z Scheuerem, Schmidtem i Lietzem). Zwyciężył w konkurencji K-4 na 10 000 metrów i zdobył srebrny medal w wyścigu K-4 na 1000 metrów na mistrzostwach Europy w 1959 w Duisburgu (o obu konkurencjach razem z Scheuerem, Lietzem i Heinzem Hellem.
Był mistrzem RFN w wyścigu sztafetowym jedynek K-1 4 × 500 metrów w latach 1955–1959 i w wyścigu dwójek na 500 metrów w 1955 i 1956, wicemistrzem na tym dystansie w dwójkach w 1957 i w jedynkach w 1955 i 1956 oraz brązowym medalistą w jedynkach w 1953. Na dystansie 1000 metrów był mistrzem w dwójkach w 1948 i 1950 i w czwórkach w latach 1955–1959 oraz wicemistrzem w dwójkach w 1951 i w czwórkach w 1953, zaś na dystansie 10 000 metrów mistrzem w dwójkach w latach 1947–1951 i 1957 oraz w czwórkach w 1955 i 1959, wicemistrzem w jedynkach w 1954 i 1956 i w dwójkach w 1952 oraz brązowym medalistą w dwójkach w 1958 i w czwórkach w 1953.
Za zdobycie wicemistrzostwa olimpijskiego Kleine został udekorowany