19 stycznia 1915 roku statek uwięziony został w paku lodowym na Morzu Weddella, w odległości około 100 km od planowanego miejsca lądowania. Stamtąd przez dziewięć miesięcy dryfował wraz z otaczającą go pokrywą lodową w kierunku północno-zachodnim, wzdłuż Wybrzeża Leopolda, a następnie Półwyspu Antarktycznego. Kadłub statku uległ rozbiciu pod naporem lodu. 27 października podjęto decyzję o opuszczeniu pokładu przez załogę, która założyła obóz w pobliżu cały czas unieruchomionej w lodzie jednostki. „Endurance” ostatecznie zatonął 21 listopada. Uczestnicy wyprawy kontynuowali dryf na lodzie w kierunku północnym. 9 kwietnia 1916 roku pokrywa lodowa była wystarczająco rozluźniona by pozwolić załodze na zwodowanie trzech zabranych z pokładu statku szalup i udanie się na wyspę Elephant Island, do której dotarli 15 kwietnia. 24 kwietnia Shackleton, Worsley i czterech innych członków załogi wyruszyło na pokładzie szalupy „James Caird” w kierunku oddalonej o ponad 700 mil morskich Georgii Południowej, skąd zorganizować mieli akcję ratunkową dla 22 osób pozostających na Elephant Island;