Walki 1 maja Armia Potomaku poruszała się nie niepokojona. Lee zresztą nie zdradzał, że zamierza iść w kierunku południowym. W sile 28 000 ludzi skierował się w stronę wojsk Hookera. Po zebraniu się w rejonie Chancellorsville Hooker nakazał swoim 3 korpusom atak w kierunku wschodnim. Po otrzymaniu informacji od korpusów II I XII o dostrzeżeniu ruchów nieprzyjaciela, Hooker przerwał atak i nakazał swoim wojskom okopanie się w rejonie Chancellorsville. Unioniści mieli tam dobre pozycje obronne, gdyż stanowiska, które zajmowali, otoczone były drzewami pobliskich lasów, dając znakomite schronienie obrońcom. Siły Lee znajdujące się w tym rejonie znalazłyby się pomiędzy wojskami Hookera z jednej a żołnierzami Sedgwicka z drugiej strony.
Około godz. 8.00 przednie oddziały Jacksona doszły do szańców dywizji Andersona. Jackson nakazał Andersonowi rozpocząć atak w kierunku nadciągających w kierunku wschodnim wojskom Hookera. Defensywna postawa sił Unii skłoniła Lee do uderzenia na obie grupy wojsk Armii Potomaku. Ponieważ jednak zalesione pozycje centrum, gdzie okopały się wojska Unii, nie dawały szans na zwycięstwo, Lee zdecydował się poprowadzić atak z zachodniej flanki.