rundzie thumb|left|300px| Joe Walcott (z lewej strony) i Gans w 1904 Na szczególną wzmiankę zasługuje walka Gansa z Battlingiem Nelsonem z Danii, który był uważany wówczas za najwybitniejszego białego boksera w wadze lekkiej. Promotorem tego pojedynku był Tex Rickard. 3 września 1906 Gans dominował w walce, mając dwukrotnie Nelsona na deskach. W 33. rundzie Gans złamał prawą rękę, ale kontynuował pojedynek. Nelson nie widział na lewe oko i obficie krwawił, gdy w 42. rundzie celowo uderzył Gansa poniżej pasa i został zdyskwalifikowany. Był to najdłuższy pojedynek o tytuł mistrza świata w historii walk według Queensberry Rules.
thumb|200px|Joe Gans Oprócz walk w obronie pasa mistrza świata w wadze lekkiej Gans stoczył w tych latach wiele innych pojedynków z cięższymi od siebie przeciwnikami. 8 grudnia 1903 w Bostonie pokonał go Sam Langford. 30 września 1904 w San Francisco Gans zremisował z mistrzem świata w wadze półśredniej Joe Walcottem;