W miarę upływu czasu rosnąca liczba rozbitków umierała na skutek głodu, pragnienia, wyczerpania i odniesionych obrażeń, a stan fizyczny i psychicznych tych, którzy pozostawali przy życiu, gwałtownie się pogarszał. Niektórzy zdesperowani rozbitkowie pili mocz, inni wodę morską, a nawet krew z rozciętych żył. Dochodziło do samobójstw. Jeńcy, którzy popadli w obłęd i zaczęli stwarzać zagrożenie dla życia kolegów, byli zabijani. Niewykluczone, że doszło do aktów kanibalizmu. Ponadto rozbitkowie zaczęli się rozpraszać. Niektóre szalupy i tratwy odłączyły się od grupy, licząc, że uda im się dopłynąć do Filipin lub do wybrzeży Chin. Między innymi w kierunku północnym pożeglowało siedem łodzi. Wśród osób, które się na nich znajdowały, był najstarszy rangą z jeńców – australijski brygadier Arthur Varley, a także jedyny Amerykanin wśród pasażerów „Rakuyō Maru” – płk Harry Ripley Melton Jr. Po grupie tej ślad zaginął.
Rankiem 14 września w pobliżu miejsca katastrofy pojawiły się trzy japońskie okręty wojenne. Jeden z nich – eskortowiec CD-11, którym dowodził por. Kimata Nagahashi – odłączył się od pozostałych i podjął z morza grupę rozbitków, która skupiła się wokół czterech łodzi.