Od 2005 roku otrzymał swoją szansę jako główny trener Cleveland Cavaliers, stając się drugim najmłodszym trenerem w lidze po Lawrensie Franku z NJ Nets. Razem z Kawalerzystami w 2007 roku awansował do finałów NBA, gdzie jednak przegrał, ze swoją byłą drużyną z San Antonio 4-0. W sezonach 2008/2009 oraz 2009/2010, Cavs osiągali bilanse odpowiednio 66-16 oraz 61-21, jednak nie zdołali awansować do finałów NBA, odpadając w 2009 roku w finałach konferencji z Orlando Magic, w 2010 roku natomiast nie zdołali pokonać Boston Celtics w półfinałach konferencji przegrywając również 4-2. Po tej porażce, został zwolniony przez Cavaliers.
Jako trener osiągnął bilans 272-138 w sezonie zasadniczym oraz 42-29 w playoffs.
25 maja 2011 roku podpisał 4 letni kontrakt wart 18,25 miliona dolarów z Los Angeles Lakers, tym samym zastąpił na tym stanowisku najbardziej utytułowanego trenera w historii NBA, Phila Jacksona.
W listopadzie 2012 roku, Lakers zwolnili Browna po rozpoczęciu sezonu bilansem 1-4.
24 kwietnia 2013 ponownie został zatrudniony przez Cleveland Cavaliers.