W 1906 roku opuścił Belgrad i przeniósł się do Kumanowa, gdzie w 1908 roku rozpoczął pracę w urzędzie statystycznym.
W 1909 roku z inicjatywy Jashara Erebary powstał Albański Klub w Kumanowie (alb. Klubi Shqiptar i Kumanovës), będący ośrodkiem albańskiej edukacji w Kumanowie. W ramach tego klubu działała szkoła otwarta prawdopodobnie 27 lutego lub 1 marca 1909 roku. Klub w następnych latach rozszerzył działalność na leżące w Kosowie miasta Kaçanik, Ferizaj, Mitrowica i Podujevo.
W latach 1911–1912 wydawał pierwszą albańską gazetę Shkupi – pierwszą albańską gazetę na terenie Kosowa i Macedonii.
W 1916 roku za działalność w Komitecie Obrony Kosowa (alb. Komitetin për Mbrojtjen e Kosovës) został internowany na 18 miesięcy w leżącym ówcześnie na terenie Austro-Węgier Karlovacu. W latach 1924–1939 ponownie zasiadał w albańskim parlamencie.
Po II wojnie światowej był dyskryminowany przez albański reżim komunistyczny. Zmarł 24 czerwca 1953 roku w skrajnej nędzy, w jego pogrzebie uczestniczyło tylko kilku członków jego najbliższej rodziny.
Upamiętnienia Imieniem Jashara Erebary nazwano jedną z ulic w Tiranie i w Podujevie.