Żadna jednostka nie przeszła jednak na jego stronę, a zgromadzonych przez niego buntowników rozproszono w pierwszym starciuConnelly 1965, s. 200-205..
W 1810 roku Napoleon przyłączył do Westfalii księstwo Hanoweru. Oznaczało to zwiększenie powierzchni państwa do ok. 77 tysięcy km², a ludności do niemal 3 milionów mieszkańców. Aneksja stała się jednak przyczyną konfliktu między cesarzem a Hieronimem. Napoleon żądał sporządzenia dokładnej umowy, która określałaby zobowiązania finansowe Westfalii wobec Francji w związku z powiększeniem terytorium królestwa; nie godził się na przekazanie bratu pełni władzy w Hanowerze bez spełnienia tego warunku. Ponieważ negocjacje nad warunkami takiej umowy utknęły w martwym punkcie, w Hanowerze funkcjonowała faktyczna dwuwładza francusko-westfalska, a między urzędnikami i wojskowymi obu stron dochodziło do bójek i pojedynków. Sytuację tę zakończyła decyzja Napoleona z grudnia 1810 r. o podziale Hanoweru - bogatszą część północno-wschodnią anektował do Francji, a Westfalia zachowała biedniejszą i mniej ludną część południowo-zachodniąConnelly 1965, s. 210-213.. W trakcie sporu o Hanower cesarz domagał się również od Hieronima bardziej zdecydowanej walki z przemytem brytyjskich towarów, zabronionych dekretem o blokadzie kontynentalnej.