Peres spostrzegał to jako poważne zagrożenie dla bezpieczeństwa narodowego i potraktował ten temat jako podstawę swojej kampanii wyborczej podczas następnych wyborów.
Członkostwo w Rafi W 1965 Peres został zamieszany razem z Mosze Dajanem w tzw. Aferę Lawona. W jej wyniku Peres, Dajan i Dawid Ben Gurion wystąpili z Mapai i utworzyli własne polityczne ugrupowanie lewicowe – Rafi. W wyniku wyborów parlamentarnych 1965 Peres wszedł do VI Knesetu. W tym samym roku został sekretarzem generalnym Rafi. Po wojnie sześciodniowej w 1967 Rafi weszła do rządu jedności narodowej.
Po wyborach parlamentarnych 1969 nowy rząd sformowała Golda Meir. Peres 22 grudnia 1969 otrzymał swoją pierwszą teczkę ministerialną – został ministrem absorpcji imigracji (1969–1970). Następnie, 1 września 1970 został ministrem transportu i ministrem komunikacji (1970–1974). Po wejściu do rządu, związki Koalicji Pracy i Rafi stopniowo się zacieśniały. Wewnątrz niej doszło do połączenia Rafi, Mapai i Achdut ha-Awoda, dzięki czemu powstała Izraelska Partia Pracy. Peres był zwolennikiem tego połączenia.
Okres rządów Goldy Meir skończył się w 1974, w wyniku ogłoszenia raportu Komisji Agranata po wojnie Jom Kipur.