4 września 2004 roku, w swojej pierwszej obronie mistrzowskiego tytułu, wygrał niejednogłośną decyzją na punkty z Kalim Meehanem. W następnej walce pokonał Andrzeja Gołotę w zaledwie 53 sekundy. W tym czasie Polak trzy razy leżał na deskach.
We wrześniu 2005 roku stoczył walkę z Luanem Krasniqi, którą wygrał przez techniczny nokaut w dziewiątej rundzie. Pas mistrza świata stracił w swojej czwartej obronie, z Siarhiejem Lachowiczem. Białorusin wygrał na punkty, mimo iż w siódmej rundzie był liczony. Brewster po walce tłumaczył, że prawie przez cały pojedynek nie mógł widzieć na jedno oko. Niedługo po walce zdiagnozowano u niego oderwanie siatkówki w lewym oku i musiał się poddać operacji.
Na ring powrócił 7 lipca 2007 roku, przegrywając walkę o mistrzostwo świata organizacji IBF z Wołodymyrem Kłyczko przez techniczny nokaut w 6 rundzie. Rok później podjął kolejną próbę powrotu do grona najlepszych bokserów w kategorii ciężkiej. W sierpniu 2008 roku znokautował w piątej rundzie Danny’ego Batcheldera, a w marcu 2009 roku podpisał kontrakt z niemiecką grupą promotorską Sauerland Event. Jeszcze w tym samym miesiącu pokonał na punkty Michaela Sprotta.