zmarł na raka, gdy Smalling miał pięć lat. W tym samym czasie wraz z rodziną przeprowadził się do dwurodzinnego domu w Chatham.
Smalling uczęszczał do szkoły podstawowej Ridge Meadow. Następnie uczył się w szkole dla chłopców Chatham Grammar School i pracował jako kelner w hotelu.
W dzieciństwie Smalling był kibicem Arsenalu. Jego matka była fanką Tottenhamu Hotspur, a ojciec i brat Jason kibicowali Manchesterowi United.
Kariera klubowa Początki Karierę piłkarską Smalling rozpoczął w wieku dziewięciu lat w Walderslade Boys. Następnie grał jeszcze w Lordswood. W wieku 12 lat trafił do Millwall. Cztery lata później rozpoczął występy w Maidstone United. Początkowo występował w drużynach młodzieżowych i rezerwach, aż w końcu trafił do pierwszego składu. Gdy miał 17 lat, zainteresowanie nim wyraziło Middlesbrough, a także Charlton Athletic, Gillingham Reading, Fulham, Chelsea i Arsenal.
W maju 2008 roku Middlesbrough potwierdziło podpisanie dwuletniego kontraktu ze Smallingiem, jednak pozostał w Maidstone United.
Smalling poza karierą klubową, reprezentował także hrabstwo Kent. W dzieciństwie trenował także poza piłką nożną – rugby, koszykówkę, judo i krykiet.