W tym czasie zaangażował się również w działalność polityczną. W 1960 przystąpił do Unii Chrześcijańsko-Demokratycznej (CDU). W 1964 dołączył do komitetu wykonawczego partii w Hesji. Od 1964 do 1968 był radnym powiatowym. W 1966 został wybrany do landtagu Hesji (zasiadał w nim do 1976), a rok później został sekretarzem generalnym CDU w landzie, pełniąc tę funkcję do 1980 W latach 1971–1982 był członkiem rady telewizji ZDF.
W 1976 został wybrany do Bundestagu, mandat poselski wykonywał do 2002. W 1982 objął stanowisko ministra poczty i telekomunikacji w pierwszym gabinecie Helmuta Kohla. Utrzymał tę funkcję również w trzech kolejnych rządach tego kanclerza. Za jego urzędowania w Niemczech wprowadzono telewizję kablową, a także rozwinęły się telewizje prywatne.
W 1992 zrezygnował ze stanowiska ministra, motywując to bezczynnością niemieckiego rządu wobec sytuacji w byłej Jugosławii. Sam zaangażował się z zażegnywanie konfliktu na Bałkanach, próbując mediować między różnymi stronami i zajmując się nadzorem nad powrotem uchodźców. W 1994 objął funkcję wiceprzewodniczącego komitetu Human Rights and Humanitarian Aid. Rok wcześniej zajął się także prowadzeniem własnej działalności gospodarczej.