W międzyczasie w 1972 dołączył do Unii Chrześcijańsko-Demokratycznej. Kierował organizacjami partyjnymi na poziomie powiatu, a w latach 1990–1995 był przewodniczącym CDU w Saarze. W latach 1989–1998 wchodził w skład zarządu federalnego, od 1992 był członkiem prezydium. W latach 1978–1985 pełnił funkcję sekretarza stanu w resorcie spraw społecznych, zdrowia i środowiska w rządzie Nadrenii-Palatynatu. Następnie do 1987 był członkiem rządu tego kraju związkowego, kierując w nim ministerstwem środowiska i zdrowia.
W maju 1987 został mianowany ministrem środowiska, ochrony przyrody i bezpieczeństwa reaktorów atomowych w rządzie Helmuta Kohla. Urząd ten sprawował do listopada 1994, po czym w kolejnym gabinecie tego kanclerza objął stanowisko ministra zagospodarowania przestrzennego, budownictwa i rozwoju miast. W międzyczasie w 1990 uzyskał mandat posła do Bundestagu, który utrzymał także w wyborach w 1994. W styczniu 1998 odszedł z niemieckiego rządu w związku z nominacją na dyrektora wykonawczego UNEP (w randze zastępcy sekretarza generalnego Organizacji Narodów Zjednoczonych). W czerwcu 2006 roku zastąpił go na tym stanowisku Achim Steiner.