Mistrz zen W 1652 roku Bankei powrócił do Harimy, ale jego próby nauczania spotkały się z podejrzeniami i wrogością. W związku z tym spędził rok na odosobnieniu w górach Yoshino. W tym odległym górskim i wiejskim rejonie został przyjęty bardzo ciepło. Prawdopodobnie właśnie wtedy skomponował swój wiersz "Pieśń o Pierwotnym Umyśle" jako nieformalną instrukcję dla miejscowych ludzi. W 1654 roku do Nagasaki przybył inny chiński mistrz Yinyuan Longqi (1592–1673) i jego silna frakcja postanowiła usunąć mistrza Daozhe z Sūfuku-ji. Daozhe postanowił się usunąć, a Bankei wraz z innymi uczniami mistrza zaczęli poszukiwać innego klasztoru dla niego. Próba się nie udała i ostatecznie Daozhe powrócił do Chin w 1658 roku i zmarł w 1662 roku. W czasie tych poszukiwań Bankei poznał dwóch daimyō, którzy zostaną jego uczniami i patronami: Matsuurę Shigenobu (1622–1703), pana Hirado i Katō Yasuokiego (1618–1677), pana Iyo.
Po śmierci mistrza Umpo w 1653 roku, jego spadkobierca - mistrz zen Bokuō Sogyū (zm. 1694 - spełnił życzenie swojego nauczyciela i potwierdził oświecenie Bankeia certyfikatem inka.