Ponieważ Ferdynand omyłkowo uważał, iż Francuzi jeszcze się nie rozwinęli całkowicie, rozkazał bezpośredni atak, nie czekając na dwie pozostałe dywizje.
O godzinie 8.00 miasto Vilbel zostało zajęte przez lekką piechotę Freytaga. Także „Am Hohen Stein” – inne niskie wzgórze położone na wschód od „Berger-Warte” znalazło się w sojuszniczych rękach. Dostrzegając, iż Bergen stanowi kluczową pozycję, o 8.30 Ferdynand rozkazał zaatakować stanowiska francuskie tam ulokowane. Początkowy atak sojuszników przyniósł sukces, odrzucając francuską piechotę od zajmowanych przez nią płotów i ogrodów w kierunku miasta. Widząc to, Broglie posłał posiłki, które z kolei zmusiły sojuszników do odwrotu na pierwotne pozycje.
O godzinie 10.00 przybyła dywizja księcia Isenburga. Isenburg rzucił swe siły do walki, znów zmuszając Francuzów do wycofania się do Bergen. Broglie natychmiast kontratakował z pomocą większej ilości rezerwowych oddziałów, wprowadzający nieporządek w szeregach sojuszników i zmuszając ich do odwrotu raz jeszcze. Isenburg został zabity, gdy próbował skupić swych ludzi. Stworzyło to pewne trudności w szeregach sojuszników, gdyż Ferdynand musiał osobiście przywracać porządek w szeregach dywizji Isenburga.