W 2002 powrócił do Niemiec i został trenerem FC Schalke 04. W Gelsenkirchen pożegnał się z drużyną na początku drugiego sezonu pracy z Schalke 04. Drużynę po nim przejął Ralf Rangnick osiągając z drużyną S04 wicemistrzostwo Niemiec. Od tamtego momentu wydawało się, że Jupp Heynckes zaczął raczej zbliżać się do końca swojej długiej i bogatej przygody z piłką. Po roku przerwy wrócił jednak na stare śmieci do Mönchengladbach. Nie był to udany powrót – Heynckes trenował drużynę tylko do 19. kolejki. Po tamtym sezonie drużyna Borussii spadła z Bundesligi.
W 2011 nie przedłużył kontraktu z Bayerem Leverkusen. W marcu podpisał umowę z Bayernem Monachium, która obowiązywała od 1 lipca 2011. Tym samym został szkoleniowcem Bawarczyków po raz trzeci (wcześniej był w latach 1987–1991 i od kwietnia do czerwca 2009). W sezonie 2011/2012 dotarł z Bayernem Monachium do finału Ligi Mistrzów gdzie przegrał z Londyńską Chelsea FC (1:1 w podstawowym czasie gry, 3:4 w rzutach karnych). 25 maja 2013 wygrał z Bayernem Ligę Mistrzów 2013 – 2:1 (0:0) w finale z Borussią Dortmund. Tym samym Heynckes został czwartym trenerem w historii, który zdobył Puchar Europy jako trener dwóch klubów (po Happelu, Hitzfeldzie i Mourinho) onet. Po tym sezonie odszedł na emeryturę.