Towarzyszyło mu dwóch służących (Wang Er, który uciekł po kilku dniach, i Gu Xing, który pozostał z nim niemal do końca wędrówki) oraz buddyjski mnich, Jingwen, niosący ze sobą kopię napisanej własną krwią Sutry Lotosu, którą zamierzał ofiarować w świątyni na świętej dla buddystów górze Jizu w Junnanie.
W trakcie trwającej ponad trzy lata wędrówki miał przemierzyć dzisiejsze prowincje Zhejiang, Jiangxi, Hunan, Kuangsi i Kuejczou, by w końcu dotrzeć do Junnanu. Na początku 1637 odwiedził górę Heng w Hunanie, ostatnią z pięciu świętych gór, której jak dotąd nie widział. Przez resztę tego roku przemierzył większość Kuangsi, szukając wszystkich pięciu odgałęzień Rzeki Zachodniej, wspinając się po górach i sporządzając dokładne zapiski na temat ich kształtu, pokrywających je lasów oraz natury skał. Po opuszczeniu miasta Hengzhou (dzis. Hengyang) wędrowcy zostali napadnięci i obrabowani podczas przeprawy łodzią przez rzekę Xiang. Xu ledwo uniknął utonięcia i po utracie pieniędzy mógł kontynuować dalszą podróż jedynie dzięki wsparciu miejscowych urzędników i literatów, chociaż w pewnym momencie znalazł się też w sytuacji, w której musiał sprzedać nawet swoje wierzchnie odzienie.