Dom Siebolda stał się salonem spotkań, wykładów i dyskusji, a język holenderski pomostem dla Japończyków do zachodniej wiedzy, którą nazywano rangaku (dosł.: nauka holenderska; znaczenie: studiowanie nauki Zachodu w okresie Edo przy pomocy języka holenderskiego).
Sieboldowi nie wolno było pobierać wynagrodzenia za swoje usługi lekarskie. Pacjenci obdarowywali go zatem rozmaitymi przedmiotami codziennego użytku, drzeworytami, czy narzędziami rzemieślniczymi, które stały się zalążkiem jego zbiorów etnograficznych. Interesował się również japońską florą i fauną. Wynajmował artystów do utrwalania wizerunków zwierząt i myśliwych do polowania na rzadkie zwierzęta.
„Afera Siebolda” W dniu 15 lutego 1826 r. Siebold, wraz z Johanem Willemem de Sturlerem, który był szefem (hol. opperhoofd) faktorii, udali się w obowiązkową podróż z Nagasaki do Edo (jap. Edo-sanpu) na spotkanie z siogunem w celu przekazania mu hołdu, darów oraz przedstawienia raportu z wydarzeń poza Japonią. Podróż trwała pięć miesięcy. W Edo przebywali od 10 kwietnia do 18 maja. Do Deshimy powrócili w dniu 7 lipca.