Pobyt w więzieniu pozostawił nieodwracalne zmiany w jego psychice. W 2000 r. pozbawiono go pracy w redakcji i Rreshpja popadł w nędzę. Nie przyjmował do wiadomości, że skończyła się dyktatura komunistyczna, a funkcjonariusze Sigurimi nie będą go już prześladować. Nie mając domu, ani rodziny ostatnie lata swojego życia spędził na ulicach Szkodry, pisząc swoje ostatnie wiersze w kawiarni "Lux" i utrzymując się z żebractwa. Zmarł na atak serca. Jego ciało znaleziono na ulicy w pobliżu kawiarni, w której często bywał. Zostało wystawione w jednej z sal teatru Migjeni, gdzie mieszkańcy Szkodry mogli go pożegnać. Nazwany na pogrzebie przez Moikoma Zeqo "niezapomnianym albańskim lirykiem" spoczął 18 lutego 2006 na cmentarzu katolickim Rrëmaj w Szkodrze.
W 2016 ukazała się książka Petrita Palushiego Frederik Rreshpja, që s'e kuptuam kurrë, poświęcona postaci zmarłego poety.