Podczas postoju w Takao jeńcy nadal umierali w ładowniach „Brazil Maru”; 4 stycznia odnotowano sześć zgonów. W międzyczasie Japończycy postanowili przenieść wszystkich jeńców na większy „Enoura Maru”. Nastąpiło to 6 stycznia. Trzy dni później nastąpił jednak nalot amerykańskiego lotnictwa, w którego trakcie „Enoura Maru” został ciężko uszkodzony, a około 200–300 jeńców poniosło śmierć. Ocalałych przeniesiono 13 stycznia na „Brazil Maru”. Liczbę Amerykanów, którzy znaleźli się na statku, szacuje się na 925 lub około tysiąca. W ładowniach panował tak wielki ścisk, że jeńcy z trudem mogli się poruszać.
14 stycznia „Brazil Maru” opuścił port w ramach konwoju TAMO-37, który płynął na Wyspy Japońskie. Obok amerykańskich jeńców przewoził w swych ładowniach 12,1 tys. worków cukru. W nocy poprzedzającej wypłynięcie z Takao zmarło piętnastu jeńców. Wkrótce śmiertelność przybrała zastraszające rozmiary, sięgając 20–30 zgonów dziennie. Jeńcy otrzymywali bowiem tylko niewielkie ilości wody i jeden posiłek dziennie. Gdy statek zaczął zbliżać się do Wysp Japońskich, doskwierający im tropikalny upał, zastąpiły zimowe mrozy. Odnotowywano przypadki zgonów spowodowanych zapaleniem płuc, a nawet zamarznięciem. Ranni i chorzy nie otrzymywali pomocy medycznej. Konwój poruszał się powoli, płynąc wzdłuż wybrzeży Chin i Półwyspu Koreańskiego.