Po włoskim Mundialu Beckenbauer podał się do dymisji i misję prowadzenia połączonej reprezentacji RFN i NRD powierzył Vogtsowi. W 1992 roku na boiskach Szwecji faworyzowani Niemcy przegrali w finale mistrzostw Europy z Danią. Cztery lata później na tym samym etapie rozgrywek nie dali się ograć Czechom i dzięki bramce zdobytej w dogrywce zwyciężyli 2:1. Vogts w czasie Euro 1996 wykorzystał umiejętności i doświadczenie starszych zawodników (średnia wieku niemieckiej ekipy wynosiła 30 lat), na czele z bramkarzem Andreasem Köpkem, stoperem Matthiasem Sammerem, który pod koniec 1996 roku otrzymał Złotą Piłkę dla najlepszego piłkarza grającego na Starym Kontynencie, pomocnikami Thomasem Häßlerem, Christianem Ziege i Dieterem Eiltsem oraz napastnikiem Jürgenem Klinsmannem. Odkryciem Vogtsa okazał się Oliver Bierhoff, który w ostatnim meczu imprezy zdobył dwie decydujące o zwycięstwie bramki. Natomiast Niemcy pod wodzą Vogtsa zawodzili na Mistrzostwach Świata. Na Mundialu 1994, gdzie bronili tytułu mistrzowskiego odpadli już w ćwierćfinale przegrywając z rewelacją tych mistrzostw Bułgarią 1:2. Po tym mundialu kibice i dziennikarze domagali się jego zwolnienia. Zarzucali mu złe przygotowanie drużyny do turnieju i nieumiejętność wprowadzenia do niej dyscypliny (incydent z udziałem Stefana Effenberga).