W sezonie 1993–1994 uratował kolończyków od spadku z Bundesligi.
Przez półtora roku, od 1997 do 1998 roku pracował w Ajaksie Amsterdam. Jedną z jego pierwszych decyzji było sprowadzenie do klubu Michaela Laudrupa. Wspólnie z drużyną ze stolicy Holandii triumfowali w rozgrywkach o mistrzostwo i Puchar tego kraju.
W 2000 roku przejął od Szweda Bo Johanssona stery reprezentacji Danii, którą wprowadził do Mundialu 2002 oraz Euro 2004. Z obu turniejów Duńczycy odpadli w drugiej rundzie po porażkach 0:3. Selekcjoner znacznie poprawił grę ofensywną drużyny, która ze względu na zgranie oraz nieco autorytatywny sposób jej prowadzenia nazywana jest Gangiem Olsena. Mimo tego odpadli w kwalifikacjach do Mundialu 2006. Po przedłużeniu z nim kontraktu ponownie Duńczykom nie udało się zakwalifikować do dużego turnieju – Euro 2008. Po kolejnych, już udanych eliminacjach Dania awansowała do mistrzostw świata w 2010 r. Na boiskach RPA nie powtórzyli, jednak sukcesu sprzed ośmiu lat i zakończyli rozgrywki na fazie grupowej. Po porażce 0:2 z Holandią, przedłużyli swoje nadzieje pokonując 2:1 Kamerun, lecz w ostatnim spotkaniu okazali się gorsi od Japonii (1:3). Po dwóch latach Olsen doprowadził Danię do kolejnego turnieju – mistrzostw Europy 2012. Tam „dynamit” trafił do „grupy śmierci” i odpadł już po pierwszej rundzie.