Wypad sił hiszpańskich z oblężonego miasta został odparty 3 marca przez Francuzów. Marszałek Perrin zorientował się w zamiarach sprzymierzonych i podjął decyzję o zaatakowaniu maszerujących w kierunku Kadyksu sił La Peña’y i Grahama przez dywizję generała Villatte w rejonie Torre Bermeja oraz umieścił dwie dywizje (Levala i Ruffina) w Chiclana celem zaatakowania flanki sprzymierzonych.
5 marca La Peña podjął decyzję o ataku na siły Villatte z marszu z zamiarem przebicia się do Kadyksu. Pierwszy atak Hiszpanów został odparty, ale kolejny wypad sił hiszpańskich z Kadyksu na tyły Villatte’a zmusił Francuzów do odwrotu. Wówczas La Peña podjął decyzję o koncentracji sił sprzymierzonych w Bermeji, jednak na sugestię gen. Grahama pozostawił na wzgórzu Barrosa oddział brytyjski w sile batalionu dowodzonego przez ppłk. Browna i szwadronu kawalerii, wspartego przez cztery bataliony hiszpańskie oraz grupę żołnierzy nieregularnych. Przed nadejściem głównych sił francuskich Hiszpanie opuścili pozycję na wzgórzu i skierowali śladem pozostałych wojsk sprzymierzonych w kierunku wybrzeża.