Kobiety były - obok pieniędzy - drugą pasją życiową Bully’ego. Legalnie zaślubionych żon miał prawdopodobnie sześć, a nadto po kilka kochanek w każdym porcie, do jakiego zawijał. Na Guam miał do dyspozycji cały harem. Wysoki, przystojny, nienagannie ubrany Hayes niezmiennie podobał się kobietom. Mówił głębokim barytonem, dobrze śpiewałW Australii i Nowej Zelandii występował nawet publicznie z grupą wędrownych trubadurów.
Podobnie jak kobiety, często zmieniał statki, na jakich pływał. Po stracie EllenityBryg zatonął w sztormie pomiędzy Honolulu a Papeete znalazł się w Australii, gdzie znalazł kolejna narzeczoną, a od przyszłego teścia w prezencie 300-tonowy bark Launceston, który po jednym zaledwie rejsie przepadł bez śladu, a Hayes pojawił się w kwietniu 1864 r. w Auckland na pokładzie szkunera Black Diamond. Najgorszą sławą cieszył się jego kolejny bryg Rona, służący Bully’emu do porywania i sprzedawania w niewolę mieszkańców niewielkich atoli
Na swym ulubionym statku Leonora, prowadził liczne (i nie zawsze udane) operacje handlowe w Oceanii specjalizując się w sprzedaży rumu i broni wyspiarzom, nie stronił jednak od filibustierki, czyli piractwa, w którym to procederze konkurował z okrutnym Benem Peasem.