Przeszedł do rezerwy w 1969 i rozpoczął działalność polityczną. Jako członek partii Herut Menachema Begina wszedł w skład rządu na stanowisko ministra transportu. Po opuszczeniu koalicji rządowej przez Herut w 1970 koncentrował się na działalności partyjnej, został szefem komitetu wykonawczego i organizował zwycięską kampanię wyborczą w 1977; objął wówczas tekę ministra obrony w gabinecie Begina. W tym okresie zmienił swoje poglądy na stosunki polityczne Izraela z sąsiadami; stał się zwolennikiem idei pokojowego współistnienia izraelsko-arabskiego w regionie i przyczynił się do zawarcia porozumienia Izraela z Egiptem w 1979. Złagodzenie stanowiska wkrótce doprowadziło go do konfliktu z Beginem i dymisji w 1980; w 1984 Weizman założył własną partię Jachad i w wyborach latem tr. zdobył trzy mandaty parlamentarne. Został ministrem bez teki w rządzie Szimona Peresa i nawiązał bliską współpracę z Partią Pracy; w 1988 prowadził kampanię wyborczą Partii Pracy. W nowym rządzie Icchaka Szamira został ministrem edukacji;