Ten krok jednak nie został przyjęty przez wszystkie (niezależne przecież) ugrupowania wchodzące w skład Heimwehry – wzmogły się wewnętrzne spory i organizacja straciła nagle swój charakter ogólnopaństwowego frontu antylewicowego. W efekcie w ramach Heimwehry utworzyły się dwa główne ośrodki skupione wokół księcia Ernsta Rüdigera Starhemberga (który próbował doprowadzić do koalicji z NSDAP a wobec fiaska tego zamiaru zgłosił do wyborów własną listę Heimatblock – ostatecznie zdobyła ona osiem miejsc w parlamencie) oraz Emila Feya (który wsparł w wyborach chadecję). Obok tego część ugrupowań zbojkotowała udział głównych przywódców w wyborach parlamentarnych, a część przystąpiła do NSDAP. Spory te doprowadziły do gwałtownego upadku ugrupowania.
We wrześniu 1931 r. Walter Pfrimer, który objął formalne stanowisko wodza Heimwehry, próbował przeprowadzić zamach stanu. Mimo poparcia otrzymanego od faszystowskich Włoch oraz części aparatu państwowego, nie znalazł żadnego poparcia w społeczeństwie i uciekł do Włoch. Ta kompromitacja jeszcze przyspieszyła rozpad ugrupowania. Organizacja styryjska po ucieczce Pfrimera bardzo szybko sprzymierzyła się z NSDAP, a następnie wcielona została do SS.