Był również utalentowanym sportowcem, szczególnie wioślarzem. W 1919 roku zdobył rozgłos podczas regat Peace Regatta w Henley, reprezentując Royal Shrewsbury School Boat Club. Następnie rozpoczął studia inżynierskie w Merton College na Uniwersytecie Oksfordzkim, gdzie działał w Oxford University Mountaineering Club. Brał udział w wyścigach łodzi Oxford–Cambridge w 1922 i 1923 roku, należąc do zwycięskiej osady Oksfordu w drugim z nich.
Irvine pozostawał w związku z Marjory Agnes Standish Summers (z domu Thompson), żoną przemysłowca Henry’ego Halla Summersa. W czasie jego pobytu na Evereście Summers wszczął postępowanie rozwodowe przeciwko żonie.
Wyprawa na Everest W 1923 roku Irvine uczestniczył w arktycznej ekspedycji Merton College na Spitsbergen, kierowanej przez George’a Binneya. Wyróżniał się podczas całej wyprawy. Wśród uczestników znajdowali się również Tom Longstaff i Noel Odell. Na rekomendację Odella Irvine został zaproszony do udziału w trzeciej brytyjskiej wyprawie na Mount Everest. W chwili otrzymania zaproszenia miał zaledwie 21 lat i nadal był studentem.