(epoce reakcyjnych rządów Bacha) Gajowi, z uwagi na jego lojalistyczną w stosunku do Wiednia postawę, pozwolono na kontynuowanie wydawania założonej przez niego gazety (od czasu zakazu używania słowa „iliryjski” pod tytułem Narodne Novine), straciła ona jednak wymowę iliryjską, a ruch, którego stworzeniu Gaj patronował, już się nie odrodził. Do spadku autorytetu Gaja przyczyniły się także pogłoski o finansowaniu poety przez Serba, księcia Miloša Obrenovicia (1849). Oskarżeniem o zdradę stanu w 1853 Gaj został złamany, do końca życia walczył o skromną egzystencję i wolność osobistą, zmarł w rozgoryczeniu. Pochowany na cmentarzu Mirogoj (za życia był właścicielem gruntów, na których założono cmentarz), niedaleko swego domu.
Gaj był autorem rozpraw historycznych – już w 1826 r. napisał Die Schlosser bei Krapina (Twierdze koło Krapiny) i pieśni patriotycznych. Wśród tych ostatnich do najpopularniejszych należą: Doletisze ptice, kukavice, Hajda braćo, hajd junaci czy Još Hrvatska ni propala (wzorowana na Mazurku Dąbrowskiego) wykonana po raz pierwszy 4 lutego 1835 r.