Po wyborach do Bundestagu w 1969 naciskał na stworzenie koalicji socjalliberalnej i 22 października 1969 został mianowany wicekanclerzem i ministrem spraw zagranicznych w rządzie Willy’ego Brandta. W 1970 jako pierwszy niemiecki minister spraw zagranicznych odwiedził Izrael, którego istnienie zostało uznane w 1965 r. Scheel jest uznawany, wraz z Willym Brandtem, za ojca polityki odprężenia oraz polityki wschodniej, która wpierw była ostro krytykowana przez partie opozycji i prowadziła również do występowania posłów z klubów SPD i FDP, tak że straciły one większość w Bundestagu. Nowe wybory w 1972 r. wzmocniły nie tylko SPD, lecz również FDP i udowodniły powszechne zrozumienie socjal-liberalnej polityki.
Po ustąpieniu kanclerza Brandta 7 maja 1974 Scheel został na prośbę prezydenta RFN p.o. kanclerza, aż do czasu wyboru 16 maja 1974 na to stanowisko Helmuta Schmidta. Tego samego dnia Scheel opuścił rząd, zatem przez dziewięć dni był p.o. kanclerza.