Po opuszczeniu Rosji przebywał początkowo w Stambule, skąd w 1922 przeniósł się do Królestwa SHS, gdzie mieszkał do 1927 (w Sremskich Karlovcach) wraz z żoną i dziećmi. Na emigracji stał na czele Rosyjskiego Związku Ogólnowojskowego (ROWS). Zmarł nieoczekiwanie 25 kwietnia 1928 w Brukseli, gdzie został tymczasowo pochowany. Oficjalnie przyczyną śmierci była gruźlica, co stwierdził jego osobisty lekarz prof. I. Aleksinski, który wyjaśniając dodał, że jego pacjent zapadł na gruźlicę kilka lat wcześniej, co przyczyniło się do wycieńczenia organizmu i przedwczesnego zgonu. Jednak rodzina Wrangla utrzymywała, że został on otruty przez brata jego sługi, który przez pewien okres przed śmiercią Wrangla mieszkał w jego domu, a był jednocześnie agentem bolszewickim. W rok później jego zwłoki zostały przewiezione do Jugosławii i 6 października 1929 pochowane w cerkwi Św. Trójcy w Belgradzie.