W sezonie 1974/1975 Cavaliers ukończyli sezon tuż za play-off z wynikiem 40–42.
W sezonie 1975/1976 Cavaliers grali w składzie z Carrem, Smithem, Chonesem, Snyderem i nowym zawodnikiem Nate Thurmondem. Fitch pomógł zdobyć drużynie tytuł mistrza dywizji, kończąc sezon z wynikiem 49–33. Fitch zdobył wtedy tytuł trenera roku, wprowadzając Cavs do ich pierwszych play-off.
Cavs wygrali w pierwszej rundzie z Washington Bullets 4–3, dzięki wielu rzutom w ostatnich minutach. Mecze te były znane jako “Cud z Richfield”. Jednakże z powodu kontuzji Jima Chonesa Cavaliers przegrali w finale konferencji z Boston Celtics.
Cleveland wygrało 43 mecze w następnych dwóch sezonach (1976/1977 i 1977/1978), ale odpadali we wczesnych fazach play-off. Kiedy w sezonie 1978/1979 uzyskali wynik 30–52, Fitch zrezygnował ze stanowiska trenera drużyny. W sezonie 1979/1980, następcą Fitcha na stanowisku trenera został Stan Albeck, a Cavs osiągnęli wynik 37–45.
1980–1983: Rządy Stepiena W 1980 nowym właścicielem drużyny został Ted Stepien. Nowy właściciel zatrudniał i zwalniał wielu trenerów, a także kupował słabych zawodników i wybierał nie najlepszych zawodników w drafcie.