Jednak po rozwodzie rodziców dzieci wróciły do Stanów Zjednoczonych. Holt najpierw uczęszczał do szkoły w New Jersey, a później został wysłany do swoich dziadków ze strony matki w Omaha w stanie Nebraska, gdzie miał niespokojne dzieciństwo i został wyrzucony z prywatnej szkoły jezuitów Creighton Preparatory School. W wieku 14 lat uciekł z domu i pojechał autobusem Greyhound Lines do Los Angeles, aby zrealizować swoje marzenie o zostaniu aktorem, ale skończyło się na pracy w fabryce wkrętek rozładowujących ciężarówki. Jego rodzice w końcu wyśledzili go i odesłali z powrotem do Irlandii do Newbridge College z internatem w hrabstwie Kildare, do której uczęszczał jego ojciec czterdzieści lat wcześniej.
Wkrótce opuścił Irlandię i ostatecznie pozwolono mu wrócić do Creighton Preparatory School, którą ukończył w 1981. Po ukończeniu szkoły średniej Holt wyjechał do Francji, aby kontynuować naukę; najpierw studiował język francuski w Sorbonie i historię sztuki w Paris American Academy, a później teatr w L’École Marcel Marceau i L’École Internationale de Théâtre Jacques Lecoq.