Prośby francuskich oficerów, by zaatakować brytyjskie kolonie, nie zostały wysłuchane przez Villenueve’a z wyjątkiem jednego przypadku – odzyskania fortu na wyspie Rocher du Diamant (Diamentowa Skała), gdy 4 czerwca flota francusko-hiszpańska odpłynęła spod Martyniki. Od pochwyconych brytyjskich statków handlowych admirał francuski dowiedział się o przybyciu Nelsona do Antigui. W tej sytuacji Villeneuve, nie osiągnąwszy swoich celów, 11 czerwca postanowił odpłynąć do Europy.
Będąc jeszcze na Antylach, francusko-hiszpańska flota napadła na brytyjski konwój wart 5 milionów franków. Konwój eskortowany był przez 28-działową fregatę „Barbadoes” i slupa „Netley”. Villeneuve wydał rozkaz do ataku dla dwóch francuskich fregat i 80-działowego liniowca hiszpańskiego „Argonauta”. Wszystkie statki brytyjskie zostały zdobyte prócz jednego okrętu eskorty.
Następnie Francuzi i Hiszpanie dopadli i spalili 14-działowy angielski okręt korsarski. Wkrótce potem, 3 lipca, odzyskano hiszpański galeon „Matilda” wiozący skarb wartości 15 milionów franków. Okręt kaperski „Mars” z Liverpoolu, który holował zdobycz do angielskich portów, został spalony, natomiast galeon został wzięty na hol przez francuską fregatę „Siréne”.