Na początku 1974 Brown wraz z Laurindo Almeidą, Budem Shankiem i Shelley Mannem (w 1977 zastąpił go Jeff Hamilton) założył zespół L.A. Four, istniejący do 1982. Z kwartetem tym nagrał szereg płyt oraz koncertował w wielu krajach świata, występując m.in. w Polsce w 1978.
W 1980 Brown poznał Dianę Krall, młodą, utalentowaną pianistkę, której bardzo pomógł w dalszej karierze. M.in. zachęcił ją do śpiewania i przez pewien okres był jej muzycznym edukatorem i opiekunem.
W 1983 powrócił do współpracy z Miltem Jacksonem, nagrywając m.in. klasyczną dziś dla jazzu płytę: Jackson, Johnson, Brown & Company, której współtwórcami – obok wspomnianej dwójki – byli także puzonista J.J. Johnson, pianista Tom Ranier, gitarzysta John Collins i perkusista Roy McCurdy. W 1984 założył trio, w którego skład weszli ponadto pianista Gene Harris i perkusista Jeff Hamilton. W tym zestawieniu zespół działał przez dziesięć lat. W późniejszym okresie skład tria dość często się zmieniał.