Ostatecznie poświęcił się bibliotekarstwu w Bostonie i San Francisco, odnosząc na tym polu znaczne sukcesy; w 1880 został głównym bibliotekarzem Biblioteki Publicznej w San Francisco.
Ożenił się z dwudziestotrzyletnią Mary Ann Fitch Westcott (1829-1893), piękną, uzdolnioną muzycznie i dobrze wykształconą kobietą. Mary Ann w krótkich odstępach czasu urodziła troje dzieci, z których jedno zmarło we wczesnym dzieciństwie. Gdy lekarz ostrzegł ją, że kolejną ciążę może przypłacić życiem, Frederick opuścił dom, zostawiając żonę i dzieci na łasce litościwych krewnych, w tym jego słynnych ciotek Beecher.
Z powodu częstych przeprowadzek Charlotte uczęszczała do wielu różnych szkół, kończąc formalną edukację w wieku piętnastu lat. Potem studiowała samodzielnie korzystając z bibliotek publicznych. Ojciec zaszczepił jej miłość do literatury i intelektualnych zajęć, nawet sporządził dla niej listę książek, które uważał za warte przeczytania.