Na Tortudze Jack napotkał swoje dwie znajome: Scarlett i Giselle (obie dały mu w twarz), a w przydrożnej karczmie spotkali przyjaciela Jacka, Joshamee Gibbsa. Ten pomógł im zwerbować załogę: wśród nich Anamarię, która chciała, aby Jack zrekompensował jej utratę okrętu, grożąc, że w przeciwnym wypadku doniesie na niego władzom. Jack więc zaproponował jej „Ścigacza”, jeśli przyłączy się do nich, na co Anamaria wyraziła zgodę. „Ścigacz”, dowodzony przez Jacka, po przebyciu groźnego sztormu dotarł do Isla da Muerte. Tam Jack miał zamiar wynegocjować u Barbossy możliwość odzyskania Elizabeth, ale Will nie czekał na jego plan. Ogłuszył Jacka wiosłem i sam uwolnił ukochaną, po czym cała załoga uciekła „Ścigaczem”, a Sparrow kolejny raz został sam na wyspie. Później doszło do konfrontacji Jacka z Barbossą. Ten mógł zabić Jacka, ale zrezygnował, gdy Sparrow powiedział mu, iż zna osobę mogącą zdjąć z piratów klątwy azteckich medalionów. Osobą tą był Will Turner.