W latach 40. XIX w. stosunki Gaja z ruchem iliryjskim nieco się jednak skomplikowały. W 1840 odbył podróż do Rosji próbując znaleźć tam źródła finansowania dla ruchu iliryjskiego oraz przekonać władze do zaangażowania się w poparcie tego ruchu. Wykorzystały to koła prowęgierskie w Chorwacji, które oskarżyły cały ruch o tendencje panslawistyczne i antypaństwowe, co później nie tylko wykorzystały austriackie koła rządowe dla podjęcia pewnych działań w celu ograniczenia iliryzmu (zakaz używania słowa „iliryjski”, cenzura itp.), ale i zmniejszyło zaufanie do Gaja wśród samych ilirystów (choć na pewien czas uzyskał cofnięcie wcześniej wspomnianego zakazu). Lojalistyczna postawa Gaja wobec Wiednia (otrzymał m.in. stałą pensję z dworu) w okresie, gdy władze centralne stawały na przeszkodzie dążeniom ilirystów, powodowała stopniowy spadek jego popularności i znaczenia.
W czasie Wiosny Ludów Gaj stał na czele delegacji wysłanej do Wiednia w celu uzyskania nominacji Josipa Jelačicia na bana Chorwacji. Z kolei w latach 50. XIX w.