Po klęsce puczystów uciekł z kraju i trafił do Gornego Milanovaca w Królestwie SHS. Wrócił do kraju po przewrocie Fana Noliego w 1924 roku i został mianowany prefektem Szkodry. Po upadku rządu Fana Noliego w grudniu 1924 uciekł do Włoch i osiedlił się wraz z rodziną w Zarze. W listopadzie 1925 wziął udział w spotkaniu albańskich działaczy emigracyjnych w Bukareszcie, na którym planowano obalenie władzy Ahmeda Zogu.
W latach 1937–1940 mieszkał w Genewie. W czasie pobytu na emigracji pracował nad słownikiem języka albańskiego. W 1940 roku wrócił do Albanii, gdzie podjął pracę naukową w Instytucie Studiów Albańskich, zorganizowanym przez włoskie władze okupacyjne. W tym czasie zasiadał we włoskim Senacie. W 1941 wysłał do Mussoliniego telegram z podziękowaniem za połączenie Albanii z Kosowem i stworzenie Wielkiej Albanii. W tym samym roku został premierem rządu kolaboracyjnego. Urząd ten sprawował do 13 stycznia 1943, kiedy został z niego usunięty w obliczu niepowodzeń w zwalczaniu ruchu oporu.
Co najmniej dwukrotnie Kruja był celem zamachu. Po nieudanym zamachu 1 kwietnia 1942, co najmniej 200 osób zostało aresztowanych i internowanych we Włoszech. Wiosną 1944 roku wyjechał do Wiednia, a dalej do Egiptu. Tam też spotkał się ze swoim niegdysiejszym wrogiem Ahmedem Zogu.