Brown wielokrotnie skutecznie bronił mistrzowskiego pasa, wygrywając kolejno z: Orlando Zuluetą (19 czerwca 1957 w Denver przez TKO w 15. rundzie), Joeyem Lopesem (4 grudnia 1957 w Chicago przez TKO w 11. rundzie), Ralphem Dupasem (7 maja 1958 w Houston przez TKO w 8. rundzie), Kennym Lane (23 lipca 1958 w Houston na punkty), Johnnym Busso (11 lutego 1959 w Houston na punkty), Paulo Rosim (3 czerwca 1959 w Waszyngtonie przez TKO w 9. rundzie), Dave’em Charnleyem (2 grudnia 1959 W Houston przez TKO w 6. rundzie), Cisco Andrade (28 października 1960 w Los Angeles na punkty), ponownie Charnleyem (18 kwietnia 1961 w Londynie na punkty) i Bertem Somodio (28 października 1961 w Quezon City).
Brown został wybrany bokserem roku 1961, a jego druga walka z Charnleyem walką roku 1961 przez magazyn The Ring.
21 kwietnia 1962 w Las Vegas Brown utracił tytuł mistrza świata w wadze lekkiej po porażce na punkty z byłym mistrzem świata w wadze junior półśredniej Carlosem Ortizem.
Kontynuował karierę bokserską do 1970, choć wiele walk przegrywał.