Teatralnym debiutem Gyllenhaala była rola Warrena w sztuce This Is Our Youth. Za swój występ otrzymał Evening Standard Theatre Award w kategorii „Outstanding Newcomer”. thumb|Gyllenhaal podczas premiery filmu Dowód (2005) W 2005 zagrał w trzech filmach pełnometrażowych: Dowodzie, Jarheadzie: Żołnierzu piechoty morskiej i Tajemnicy Brokeback Mountain oraz krótkiej animacji pod tytułem The Man Who Walked Between the Towers. Wszystkie obrazy zebrały pozytywne recenzje, często chwalono role Gyllenhaala. Wziął też udział w przesłuchaniach do roli Batmana w filmie Batman: Początek. Szczególne uznanie zdobył rolą w Tajemnicy Brokeback Mountain, za którą otrzymał m.in. nagrodę BAFTA dla najlepszego aktora drugoplanowego oraz nominację do Oscara. W 2006, w uznaniu dla jego kariery aktorskiej, został zaproszony do dołączenia do Akademii.