Wielkie serce okazywał nie tylko kolegom; już jako nastolatek miewał liczne przygody miłosne, a przez jego łóżko – jak sam zapisał w swym pamiętniku – przewinęły się co najmniej cztery kobiety: Mollie, Lizzie, Mary i jedna nie wymieniona z imienia.
Kariera wojskowa Ojciec Custera był metodystą i gorącym zwolennikiem demokratów. Niejakie zdziwienie musiał więc wywołać krok Autie, który podejmując życiową decyzję zwrócił się o poparcie do kongresmena GOP, Johna Binghama. Napisał do niego krótki list:
Bingham był zaskoczony, ale prośbę młodego człowieka spełnił. Custer w czerwcu 1857 roku wstąpił do United States Military Academy (USMA).
Nie był dobrym studentem: z trzydziestu czterech kadetów jego rocznika uzyskał 34 lokatę. Wyróżniał się lekceważeniem dyscypliny będąc ciągle o krok od usunięcia, a książki jakie wypożyczał z uczelnianej biblioteki traktowały głównie o wybitnych kawalerzystach, broni białej i pięknych kobietach. Był natomiast świetnym jeźdźcem;