W 1918 kiedy Kosowo powróciło pod władzę Serbów, Galica współpracował z Komitetem Kosowskim, grupującym albańskich separatystów, dążących do wyzwolenia Kosowa z rąk serbskich. Po nieudanej próbie wzniecenia powstania w Kosowie w 1919, kontynuował walkę samodzielnie na czele niewielkiego oddziału. W jego oddziale (czecie) walczyła także żona Qerime, bardziej znana jako Shote Galica. Działania oddziału Galicy doprowadziły do utworzenia niewielkiego terytorium w rejonie Juniku, które było całkowicie pod kontrolą separatystów (Arbnia e Vogel). W 1920 sąd w Belgradzie skazał Azema Galicę zaocznie na karę śmierci.
W walce z serbskim oddziałem pacyfikacyjnym w rejonie wsi Mikushnicë Galica został ciężko ranny. Wyniesiony z pola bitwy, zmarł kilka dni później w jaskini, w której ukrywał się jego oddział. Został pochowany w jaskini koło wsi Perqevë w nieoznaczonym miejscu. Dowództwo oddziału przejęła jego żona Shote Galica, ale po śmierci Azema aktywność kaczaków znacząco spadła.
W 1971 grób Galicy odnaleziono i przeniesiono jego szczątki do wsi Galice, gdzie