Przez wiele lat pracował na poczcie, później pomagał córce w prowadzeniu restauracji. Do jego ulubionych zajęć należało zajmowanie się ogrodem, gdzie hodował owoce. Robił m.in. własne musy jabłkowe, zajmował się pszczelarstwem. Nigdy nie palił papierosów, zdarzało mu się natomiast pić od czasu do czasu whiskey z miodem. Sam miód natomiast jadł codziennie. W ostatnich latach życia gdy nie mógł już chodzić poświęcił się oglądaniu meczów baseballowych w telewizji.
Hale długo cieszył się dobrym zdrowiem. W sędziwym wieku 95 lat odwiedził swojego syna, który mieszkał w Japonii. W drodze powrotnej odwiedził Hawaje i wtedy po raz pierwszy pływał na desce surfingowej. Jeszcze w wieku 103 lat sam własnoręcznie odśnieżał dach swojego domu. Jednak podwójnym rekordzistą czyniła go jazda samochodem do 108 roku życia (nie jechał jednak zbyt szybko). Dopiero w ostatnich kilku latach życia jego wzrok uległ pogorszeniu. W wieku 110 lat więc przeszedł operację zaćmy, po której widział lepiej. Pod koniec życia poruszał się na wózku inwalidzkim. Parę miesięcy przed śmiercią przeprowadził się wraz z 82-letnim wówczas synem, Fredem juniorem do Janesville.