Chociaż stały ląd był w zasięgu wzroku – Mount Haddington na Wyspie Jamesa Rossa – to dotarcie tam nie było możliwe a obóz dryfował na lodzie dalej w kierunku północnym. Shackleton upatrywał możliwości ratunku w wydostaniu się na otwarte wody i dopłynięciu do wysp w archipelagu Szetlandów Południowych – Clarence Island lub Elephant Island, oddalonych o ok. 185 km od pozycji obozu pod koniec marca 1916 roku. 7 kwietnia dostrzeżono Clarence Island, jednak Shackleton rozpatrywał kurs na Deception Island, gdzie często pojawiali się wielorybnicy.

120px|thumb|Trzy szalupy „Endurance” na Elephant Island (1916) Wyprawa łodziami została wymuszona po tym jak 8 kwietnia pękła kra, na której znajdował się Patience Camp. Załoga przygotowała wszystkie szalupy to przeprawy – Shackleton objął dowództwo „James Caird”, która mieściła 11 osób;