Wild został na Elephant Island i dowodził grupą pozostałych członków wyprawy, motywując wszystkich do walki o przeżycie i pracy na rzecz grupy. Grupa była bardzo zróżnicowana – niektórzy mieli doświadczenie polarne (Alfred Cheetham, Frank Hurley czy George Marston), inni doświadczenie pracy na statkach rybackich, część była naukowcami (James Wordie, Robert Clark, Leonard Hussey czy Reginald James), lekarzami (Alexander Macklin czy James McIlroy) czy oficerami marynarki (kapitan Thomas Orde-Lees). Każdy dzień Wild traktował jako możliwy dzień ratunku, utrzymując grupę w gotowości do szybkiego opuszczenia wyspy. Z chęci podtrzymania nadziei na szybki ratunek, odmówił magazynowania mięsa, co doprowadziło do konfliktu z Orde-Leesem. W soboty organizowano wieczory z muzyką przy akompaniamencie banjo, które zabrano z pokładu „Endurance”. Do dyspozycji rozbitkowie mieli pięć tomów Encyklopedii Britannica, trzy powieści i jedną książkę kucharską. Z czasem Wild zaczął rozważać opcję opuszczenia wyspy i udania się w niebezpieczną podróż na wody uczęszczane przez statki wielorybnicze w okolicach Deception Island, ratunek przyszedł jednak na czas. Mężczyźni przeżyli na Elephant Island 4 miesiące (105 dni), żyjąc pod dwoma odwróconymi do góry dnem łodziami, zmagając się z niedoborami żywności i problemami zdrowotnymi.