Łączyła ją wówczas bliska relacja z jedną ze służących, czarnoskórą Virginią, z którą często chodziła do kina..
W 1935 w konsekwencji wielkiego kryzysu rodzina przeniosła się do Newport News w stanie Wirginia. Molly pracowała w podobnym charakterze, ale tym razem przygotowywała posiłki głównie dla rybaków i dokerów. Ava rozpoczęła naukę w Newport News. Już pierwszego dnia w szkole nauczycielka poprosiła ją, aby przed klasą wyjaśniła pochodzenie swojego oryginalnego imienia, powiedziała skąd pochodzi i czym się zajmują jej rodzice. Było to dla niej krępujące ze względu na odmienny akcent, który sprawiał, że brzmiała jak zbieraczka bawełny z Przeminęło z wiatrem. Problemy finansowe w rodzinie były na tyle spore, że niemal przez cały rok musiała chodzić do szkoły w tej samej spódniczce, podczas gdy inne dziewczęta zmieniały je praktycznie co tydzień.
Po śmierci Jonasa w 1938 młoda Gardner zamieszkała w Rock Ridge w Karolinie Północnej, gdzie ukończyła miejscową szkołę średnią i rozpoczęła naukę w Atlantic Christian College. Wkrótce Molly zachorowała na raka i mimo pomocy Howarda Hughesa, który zaangażował do opieki najlepszych onkologów, matka Avy zmarła 21 maja 1943, czyli w dzień rozwodu własnej córki.