Urodził się z zesztywniającym zapaleniem stawów kręgosłupa, przez co od urodzenia ma problem z prawidłowym stawianiem stóp podczas chodzenia.
Zmuszany przez ojca, w wieku czterech lat zaczął amatorskie treningi tenisa, mimo że nie podobał mu się ten sport. Trenował m.in. w Cambridge Racquet Clubie, a w wieku ośmiu lat zaczął startować w lokalnych zawodach juniorskich, które w większości wygrywał. Jako 10-latek zaczął grać również w krajowych turniejach. Jako dziecko uczestniczył w turniejach Alan King Tennis Classic jako asystent podający piłki graczom, a dzięki wpływom ojca w przerwach między meczami rekreacyjnie grywał z uznanymi tenisistami, takimi jak Björn Borg, Jimmy Connors czy Ilie Năstase.
W wieku 13 lat trafił do Akademii Tenisowej Nicka Bollettieriego na Florydzie, gdzie miał zostać przez trzy miesiące, ponieważ rodziny nie stać było na opłacenie czesnego. Bollettieri, będąc pod wrażeniem zdolności nastolatka, pozwolił mu jednak pozostać w akademii bez konieczności wnoszenia opłat. Agassi, będący wówczas w dziewiątej klasie szkoły, zrezygnował z dalszej nauki i całkowicie poświęcił się tenisowi.