Niewiele jest wiadomo o tych trzech latach Boyle'a. Sam niewiele o tym okresie wspominał. Jeden z jego przyjaciół relacjonował, iż Boyle jednego razu przechwalał się swymi wyczynami na Dalekim Wschodzie, nie wiadomo jednak nic bliższego. Znając jednak późniejszą jego historię można się spodziewać, że był wszędzie, wszystko widział i wszystkiego zaznał.
Lata nowojorskie Do Nowego Jorku Boyle powrócił całkowicie odmieniony. Nie było w nim nic z młodzieńca, który opuścił rodzinę kilka lat wcześniej. Stał się dorosłym, pełnym życiowego doświadczenia człowiekiem. Nabrał tężyzny fizycznej i atletycznej budowy ciała. Pozostając u brata, poznał jego przyjaciółkę, którą tamten zamierzał poślubić. Mildred Raynor była drobną, atrakcyjną rozwódką i natychmiast zauroczyła młodszego Boyle'a. Uczucie zostało odwzajemnione. Już trzy dni od chwili poznania Joseph i Mildred byli małżeństwem, pozostawiając Davida, brata Josepha, w nieutulonym żalu. Rana jakiej David doznał i uczucie jakim darzył Mildred były tak głębokie, iż mężczyzna ten nigdy już nie pragnął innej kobiety i dożył starości jako kawaler.