Yankovic, ze względu na wiek, ogłosił odejście na emeryturę w 1994 roku, ale szybko wycofał się z tej decyzji i dalej występował przez kolejne trzy lata, ruszając w trasę koncertową z debiutantem polki Kanadyjczykiem Walterem Ostankiem. Kontynuował także nagrywanie dla wytwórni Cleveland International, która w 1996 roku wydała głośny album "Songs of the Polka King, Vol. 1". Występowało na nim kilku gości specjalnych: Weird Al Yankovic, Eddie Blazonczyk, komik z Cleveland Drew Carey, wykonawcy country Chet Atkins i Cowboy Jack Clement oraz zespół Riders in the Sky. Wykonywali standardy Yankovica. W 1997 wydano Vol. 2 - na tej płycie wystąpili m.in. Clement, David Allan Coe i Don Everly. Oba albumy były nominowane do Grammy. Niestety, zdrowie Yankovicia podupadło i w 1998 roku doznał kontuzji po upadku w swoim domu w New Port Richey na Florydzie. Kilka dni później, 14 października, zmarł.