Otrzymał po ojcu imię BenjaminBenjamin Leigh Smith (1828–1913) – znany żeglarz i odkrywca.. Anne i Benjamin Leigh Smith wyjechali wówczas z dziećmi na dwa lata do Ameryki. Po powrocie do Sussex otwarcie zamieszkali razem w Brown (nie wyjaśniono, z jakiego powodu nie wzięli ślubu). Mieli jeszcze trzech synów. Po urodzeniu najmłodszego dziecka (1833) Anne zachorowała na gruźlicę; mimo troskliwej opieki zmarła w roku 1834. Wbrew radom części rodziny, aby dzieci wysłać na wychowanie za granicę, ich ojciec sprowadził je do swojego domu w Hastings, a później w Londynie.
Gdy B.L. Smith został wybrany na posła Norwich (1834–1837), dziećmi opiekowały się ciotki (Dolly Longden i Julia Smith) oraz wynajęci pracownicy: guwernantka, nauczyciel łaciny i historii, nauczyciel konnej jazdy. Od roku 1940 podróżowały po Sussex, wraz z opiekunami, eleganckim ośmioosobowym powozem ze stangretem kierującym czterokonnym zaprzęgiem.
W domu Benjamina Leigha Smitha bywało wiele osób zaangażowanych w politykę, z którymi jego córka spotykała się na równi z braćmi (ojciec był zwolennikiem abolicji).