W 1960 r., korzystając z porażki Partii Pracy w wyborach parlamentarnych rok wcześniej, Wilson wystartował w wyborach na lidera partii, ale przegrał z Gaitskellem. W 1962 r. bez powodzenia kandydował na stanowisko wiceprzewodniczącego partii – przegrał wówczas z George’em Brownem. W 1961 r. został ministrem spraw zagranicznych w laburzystowskim gabinecie cieni. Po niespodziewanej śmierci Gaitskella w 1963 r. Wilson został kandydatem lewego skrzydła partii w wyborach lidera. Po pokonaniu George’a Browna i Jamesa Callaghana Wilson został 14 lutego 1963 r. nowym liderem Partii Pracy.
Jako lider laburzystów Wilson poświęcił się odbudowie wizerunku Partii Pracy jako partii zwartej i godnej zaufania. W manifeście wyborczym z 1963 r. postulował innowację technologiczną i przemysłową, skuteczność na wszystkich poziomach administracji i otwarcie na młode pokolenie. Wilsonowi sprzyjały podziały w łonie Partii Konserwatywnej i skandale w jakie byli zamieszani jej czołowi politycy (patrz – afera Profumo). Mimo to wybory 1964 r. zakończyły się tylko minimalnym zwycięstwem Partii Pracy, która uzyskała o 13 mandatów parlamentarnych więcej niż Partia Konserwatywna.