Na stanowisku tym pozostał aż do 1964, biorąc udział w czterech finałach mistrzostw świata.

Pierwsze mistrzostwa świata (1938) zakończyły się dla Herbergera porażką – zespół uważany za jednego z kandydatów do tytułu odpadł już w 1/8 finału po porażce ze Szwajcarią. Na kolejny start w MŚ przyszło Niemcom czekać 16 lat – RFN była objęta sankcjami ze względu na wywołanie II wojny światowej i piłkarzy nie dopuszczono do udziału w eliminacjach MŚ 50. Pierwszy powojenny start zakończył się sensacyjnym wywalczeniem tytułu mistrzowskiego.

Mistrzostwa świata 1954 Niemcy wyszły z grupy dzięki dwukrotnemu pokonaniu Turcji (4:1 i 7:2). Nie przeszkodziła im porażka z głównym faworytem do Złotej Nike – Węgrami 3:8. Herberger nie wystawił w tym pojedynku najmocniejszego składu. W ćwierćfinale Niemcy wygrali z Jugosławią 2:0, a w półfinale rozgromili Austrię 6:1.

Cud w Bernie