Korzystając z okazji lepszego poznania kraju, niemiecki uczony zbierał po drodze okazy flory i fauny, a towarzyszący mu Keiga Kawahara malował je, podobnie jak sceny rodzajowe, świątynie, miejsca widokowe. Siebold odbył też wiele rozmów zarówno w czasie podróży, jak i w stolicy.
Po powrocie, prawdopodobnie przez przypadek, władze japońskie dowiedziały się, że Siebold wszedł w posiadanie m.in. szczegółowych map Japonii (w tym Hokkaido i Sachalinu), co było ściśle zabronione. Niemiecki doktor został oskarżony o zdradę i szpiegostwo na rzecz Rosji (ze względu na coraz częstsze wizyty statków rosyjskich – także innych państw – i domaganie się otwarcia portów, władze japońskie miały poważne obawy co do zamierzeń sąsiada). Otrzymał areszt domowy, a następnie został wydalony z Japonii w 1829 r. z zakazem ponownego przyjazdu. Wiele lat później, po podpisaniu nowego traktatu handlowego pomiędzy Holandią a Japonią w 1858 r., zakaz ten został cofnięty. Kawahara – jak i wielu innych przyjaciół Siebolda – został skazany na kilka lat więzienia.