W 1956 roku odszedł do Luton Town, także grającego w Division One. W sezonie 1958/1959 dotarł z nim do finału Pucharu Anglii, w którym Luton został pokonany przez Nottingham Forest. W kolejnym sezonie spadł z klubem do Division Two. W 1960 roku odszedł do Portsmouth z Division Three i już w pierwszym sezonie awansował z nim do Division Two. Po odejściu z Portsmouth w 1963 roku, Brown był grającym trenerem nieligowego wówczas Wigan Athletic. W 1966 roku zakończył tam karierę piłkarza.
W Division One rozegrał 285 spotkań i zdobył 112 bramek.
Kariera reprezentacyjna W reprezentacji Szkocji Brown zadebiutował 26 kwietnia 1950 w wygranym 3:1 towarzyskim meczu ze Szwajcarią, a 21 maja 1950 w zremisowanym 2:2 towarzyskim pojedynku z Portugalią strzelił swojego pierwszego gola w kadrze.
W 1954 roku został powołany do kadry na mistrzostwa świata. Zagrał na nich w obu spotkaniach swojej drużyny: z Austrią (0:1) i Urugwajem (0:7), a Szkocja zakończyła turniej na fazie grupowej.
W latach 1950–1954 w drużynie narodowej rozegrał 14 spotkań i zdobył 6 bramek.