W 1981 stoczył tylko dwie walki z mniej znanymi przeciwnikami, a 30 stycznia 1982 spotkał się w Caesars Palace w walce o tytuł mistrza świata WBC wagi lekkośredniej z czempionem Wilfredem Benítezem, przegrywając jednogłośnie na punkty. 4 września tego roku w Detroit niespodziewanie pokonał go mniej znany Kirkland Laing. Durán wygrał z byłym mistrzem świata José „Pipino” Cuevasem 29 stycznia 1983 w Los Angeles przez techniczny nokaut w 4. rundzie, a 16 czerwca tego roku w Madison Square Garden pokonał w walce o tytuł ówczesnego mistrza świata WBA wagi junior średniej Daveya Moore’a przez TKO w 8. rundzie. Następnie zmierzył się o tytuł mistrza świata wagi średniej organizacji WBA, WBC i IBF z obrońcą tytułu Marvinem Haglerem, przegrywając po 15 rundach na punkty 10 listopada 1983 w Caesars Palace w Las Vegas.
Durán nie zmierzył się z oficjalnym pretendentem WBA do tytułu mistrza świata kategorii lekkośredniej Mikiem McCallumem, wybierając walkę z mistrzem WBC tej kategorii Thomasem Hearnsem. Został za to pozbawiony tytułu przez WBA. 15 czerwca 1984 w Caesars Palace Hearns pokonał Durána przez TKO w 2. rundzie. Durán pauzował po tej walce do 1986, a potem walczył z mniej znanymi przeciwnikami.