Gdy Ann wyszła za mąż za Davida Reeda z małego, położonego nad brzegiem jeziora Erie, miasteczka Monroe w stanie Michigan – prowadzili tam oboje niewielką firmę przewozową – Custer zaczął jeździć tam na wakacje, a w wieku 14 lat przeprowadził się na stałe. Na farmę rodziców zajeżdżał latem, by pomóc w pracach polowych.
W Monroe uczęszczał do niedawno założonej szkoły dla chłopców zwanej nieoficjalnie Stebbins Academy, ale uczniem był kiepskim. Od nauki wolał uganianie się po lesie, jazdę konną i polowanie na szopy i lisy. Te zabawy i ciężka praca na farmie wykształciły w nim silną osobowość, wybujałą fantazję i tężyznę fizyczną: nigdy nie wyglądał na zmęczonego ani potrzebującego zbyt wiele snu. W roku 1855 powrócił w rodzinne strony, zapisał się do McNeely Normal School w Hopedale (Ohio) i już po roku uzyskał uprawnienia nauczania w najniższych klasach, co praktykował przez jakiś czas w wiosce Cadiz (Ohio). „Ten gość ma wielkie serce i jeszcze więcej szczęścia” – napisał o nim jeden z przyjaciół z tamtych czasów.