W kwietniu 1947 r. Brown został parlamentarnym prywatnym sekretarzem kanclerza skarbu Hugh Daltona. Następnie został parlamentarnym sekretarzem w ministerstwie rolnictwa. W 1951 r. został ministrem robót, jednak bez prawa zasiadania w gabinecie. W tym samym roku musiał opuścić stanowisko, gdyż Partia Pracy przegrała wybory parlamentarne. W 1955 r. został członkiem laburzystowskiego gabinetu cieni. W 1956 r. przegrał wybory na Skarbnika Partii Pracy. W 1960 r. został wiceprzewodniczącym partii, pokonując w wyborach Fredericka Lee i Jamesa Callaghana. Po nagłej śmierci lidera laburzystów Hugh Gaitskella w 1963 r. Brown przejął tymczasowo stanowiska lidera Partii Pracy i lidera Opozycji. Wystartował również w wyborach na lidera partii, ale przegrał w nich z Haroldem Wilsonem. Pozostał jednak na stanowisku wiceprzewodniczącego partii.