W miarę jak na placu boju pojawiały się kolejne francuskie jednostki gen. Vivies ruszył po prawej stronie na cmentarz, podczas gdy nadchodzące oddziały VII Korpusu i jazdy ruszyły na lewo, dążąc do obejścia tamtędy rosyjskiej ariergardy. Prawa kolumna Francuzów została powstrzymana ogniem dział przy Waschkeitersee a pułk huzarów izumskich odrzucił francuskich szaserów. Mimo to wobec rosnącego gwałtownie zagrożenia prawej flanki spowodowanego napływem olbrzymiej liczby francuskich jednostek Markow, Baggowut i 8. dywizja zaczęły odwrót ku Iławie. Francuzi podeszli do miasta od strony Forst Amt gdzie bronił je tylko słaby oddział kawalerii rosyjskiej. Dywizja Legranda z częścią dywizji Levala, mając za sobą dywizję Saint–Hilaire'a i jazdę, przedarły się do Freiheit. Z przeciwnej strony gen. Vivies uderzył na wzgórze cmentarne, które opanował ok. godziny 17:00. Tymczasem artyleria prowadziła intensywną wymianę ognia po obu stronach. Wzmogła się zaciętość walki i gen. Barclay de Tolly odebrał ranę w ramię, a większość oficerów jego sztabu zginęła lub została ranna. Bagration przejąwszy w tej sytuacji dowodzenie, przygotowywał się do opuszczenia miasta. Cofając stopniowo swoje wojska, spotkał przy jego wylocie gen. Bennigsena, który osobiście przyprowadził tu 4. dywizję gen. Somowa.