Już po trzech miesiącach sprawowania władzy musiał być poddawany stałym dializom w związku z niewydolnością nerek. W związku z jego śmiercią w Związku Radzieckim ogłoszono żałobę narodową w dniach 11–14 lutego. Siedmiodniową żałobę narodową ogłoszono w Syrii, czterodniową na Kubie, trzydniową w Indiach, Afganistanie, Beninie, Ghanie, Iraku i Brazylii, dwudniową żałobę ogłoszono w Bułgarii[Указ № 428 от 10 февруари 1984 г. Обн. ДВ. бр. 13 от 14 февруари 1984 г.], Korei Północnej, Ludowej Republice Konga i Zimbabwe, a jednodniową w Kostaryce, Sri Lance, Jugosławii i Czechosłowacji. Andropow został pochowany pod murami Kremla w Moskwie. W pogrzebie na placu Czerwonym brały udział delegacje z całego świata. Przybyli m.in. przywódcy PRL – Wojciech Jaruzelski, NRD – Erich Honecker, Bułgarii – Todor Żiwkow, Czechosłowacji – Gustáv Husák, Rumunii – Nicolae Ceaușescu, Węgier János Kádár, Mongolii – Jumdżagijn Cedenbał, Kuby – Fidel Castro, premier Wielkiej Brytanii Margaret Thatcher, premier Indii Indira Gandhi, wiceprezydent USA George Bush, kanclerz Niemiec Helmut Kohl, premier Francji Pierre Mauroy, prezydent Malty Agatha Barbara, pierwsza dama Filipin Imelda Marcos i kilkadziesiąt innych głów państw i szefów rządów.
W latach 1984–1989 miasto Rybińsk nosiło nazwę Andropow.