Działalność polityczna W czasie studiów wstąpił do Partii Liberalnej. W trakcie kampanii przed wspierał (późniejszego polityka Partii Pracy), bezskutecznie kandydującego z ramienia liberałów do Izby Gmin w okręgu . W (w 1945), Grimond kandydował do niższej izby parlamentu z obejmującego Orkady i Szetlandy. Nie uzyskał wówczas mandatu, otrzymując 5 975 głosów – wobec 6 304 oddanych na kandydata . W zdobył mandat w tym samym okręgu i utrzymywał go w w kolejnych wyborach (po raz ostatni został wybrany w ). W Izbie Gmin początkowo pełnił funkcję głównego whipa liberałów (1950–1956).
W 1956 zastąpił Clementa Daviesa na stanowisku lidera partii. W okresie kierowania przez Grimonda Partią Liberalną, ilość jej członków zwiększyła się z ok. 100 tysięcy do 350 tysięcy. Znacząco wzrosła również liczba oddawanych na nią głosów (z 2,5% w do 11,2% w ). Grimond krytykował decyzję premiera Anthony’ego Edena o udziale wojsk brytyjskich w wojnie przeciwko Egiptowi (1956) oraz wzrost znaczenia politycznego zarówno związków zawodowych, jak i organizacji pracodawców. Sprzeciwiał się rozbudowie brytyjskiego arsenału jądrowego, opowiadając się za jego integracją z siłami amerykańskimi.