Około 753 r. cesarz Xuanzong na skutek intryg Luyi, zwolennika północnej szkoły chan i równocześnie cesarskiego cenzora, zesłał mistrza Heze na wygnanie na dalekie południe Chin. Zongmi twierdzi jednak, że atakowani przez Hezego mistrzowie szkoły północnej nie zaaprobowali tego zesłania, co dobrze świadczy o ich umiejętności wzniesienia się ponad podziały. Wszelkie informacje o tym zesłaniu wykazują, że nie było ono dotkliwe. Po rozmowie z cesarzem został wysłany najpierw do Yiyangu w Jiangxi, a potem do Wutangu (Jinxian, Hubei). W tym samym czasie w Wutangu przebywał mistrz chan Nanyang Huizhong (675–775). Jak sugeruje John McRaeSudden and Gradual. Approaches to Enlightenment in Chinese Thought, s. 236., obaj mistrzowie spotkali się i późniejsza działalność Nayanga była kontynuacją działalności Hezego. W 754 r. został cesarskim edyktem przeniesiony do Xianyangu. Siódmego miesiąca tego roku nakazano mu zamieszkać w słynnym klasztorze Kaiyuan w Jingzhou, który był najważniejszym centrem buddyjskim w południowo-środkowych Chinach. Badacz ten traktuje także owo „zesłanie” mistrza jako „sponsorowaną przez cesarza podróż z wykładami”. Dopiero po politycznym przewrocie, jakim była rebelia An Lushana 安祿山 (zginął w jej trakcie Luyi, prześladowca Hezego), Heze wrócił po 757 r. i odbudował zniszczony klasztor.