Wcześniej prowadził praktykę adwokacką wspólnie z Uri Messerem.
Deputowany i minister W 1966 roku, podczas konwencji partii Gahal, poprzedniczki dzisiejszego Likudu, lider ugrupowania Menachem Begin, został wezwany przez Ehuda Olmerta do złożenia rezygnacji. Begin odpowiedział, że zrzeknie się przywództwa w partii, ale wkrótce potem zmienił swą decyzję, pod wpływem emocjonalnej reakcji zebranych delegatów, którzy głośno domagali się tego, aby pozostał on liderem Gahalu.
W 1973 (w wieku 28 lat) został po raz pierwszy wybrany do Knesetu z ramienia Likudu, zasiadając w parlamencie także w siedmiu kolejnych kadencjach. W latach 1981–1988 był członkiem parlamentarnej komisji spraw zagranicznych i bezpieczeństwa, jak również komisji ds. finansów, edukacji i budżetu obronnego.
W 1988 znalazł się po raz pierwszy w rządzie (kierowanym wówczas przez Icchaka Szamira), obejmując tekę ministra ds. mniejszości. W latach 1990–1992 był ministrem zdrowia. Po przejściu Likudu do opozycji (przegrana w wyborach w 1992 roku), pozostał aktywnym parlamentarzystą oraz członkiem partyjnego gabinetu cieni.