15 maja 1934 w Paryżu Brown został zdyskwalifikowany w 6. rundzie pojedynku towarzyskiego z Gustavem Humerym za stosowanie niedozwolonych sposobów walki. Rozzłoszczeni kibice wtargnęli na ring i dotkliwie pobili Browna oraz zniszczyli halę sportową. 1 listopada tego roku w Tunisie Brown obronił tytuł IBU wygrywając przez nokaut w 10. rundzie z Victorem Perezem, który został wyliczony, gdy reklamował nieczysty cios Browna. Kolejna obrona nie była udana, gdyż 18 marca 1935 w Walencji Baltasar Sangchili pokonał go na punkty. Brown stoczył jeszcze jedną walkę (przegraną z Pete'em Sanstolem) i zawiesił karierę. Podjął ją w 1937, w którym wygrał pięć pojedynków (w tym z Victorem Perezem). 4 marca 1938 w Paryżu odzyskał mistrzostwo świata federacji IBU po pokonaniu na punkty Baltasara Sangchiliego. Wkrótce potem IBU zrezygnowała z uznawania własnych tytułów mistrza świata, w tym należącego do Browna.
Na początku 1939 Brown wyjechał do USA, gdzie stoczył tego roku dwa pojedynki z mało znanymi bokserami.