W 1891 roku rodzice Norvella Hardy’ego, na rok przed jego narodzinami, przeprowadzili się do Madison w stanie Wisconsin. Miejsce narodzin Hardy’ego nie jest pewne. Według niektórych źródeł urodził się w Harlemie, natomiast inne podają rodzinne miasto jego matki, Covington. Norvell Hardy był najmłodszym z piątki rodzeństwa, ojciec zmarł, gdy Norvell miał zaledwie rok.
W dzieciństwie Hardy sprawiał czasami problemy wychowawcze, co spowodowało, że został wysłany do akademii wojskowej w Milledgeville w Georgii. W wieku trzynastu lat został przeniesiony do Young Harris College w północnej części tego stanu.
W dzieciństwie wykazywał zainteresowanie muzyką i teatrem, miał jednocześnie problemy z nauką. Dołączył do grupy teatralnej, jednocześnie porzucając szkołę. Matka wysłała go do Atlanty, do nauczyciela muzyki i śpiewu, Adolfa Pattersona, jednak Hardy opuszczał niektóre zajęcia by śpiewać w kinie Alkazar za 3,50 USD na tydzień. Potem zdecydował się na powrót do Milledgeville. Już przed rokiem 1910 zaczął posługiwać się imieniem „Oliver”. Zarówno w spisie ludności z 1910 roku, jak i w późniejszych dokumentach, figuruje jako Oliver N. Hardy.