W obliczu przewagi nieprzyjaciela, polskie oddziały musiały wycofać się do miejscowości Barak, gdzie broniły się jeszcze do godziny 14. Na skutek ciągłych ataków Niemców i szczupłości sił polskich, pułkownik Ostrowski wydał rozkaz odesłania taborów i kompanii łączności do Iłży. Natomiast sam z pozostałymi siłami wycofał się przez Szydłowiec – Wierzbicę – Skaryszew w kierunku Kozienic. Kawaleria dywizyjna zmuszona do odwrotu, odeszła przez Wierzbicę – Pionki i wraz z resztkami kawalerii dywizyjnej 12 Dywizji Piechoty, rozbitej po bitwie pod Iłżą, przekroczyła Wisłę pod miejscowością Regów Stary. Następnie szwadron kawalerii dywizyjnej 36 Dywizji Piechoty został włączony do 4 pułku Ułanów Zaniemeńskich podczas odtwarzania tego pułku i walczył w jego składzie do 24 września.

Dowódca 163 pułku piechoty pułkownik Nakoniecznikoff na wieść o odcięciu dowództwa dywizji od głównych sił i po zorientowaniu się w ogólnej sytuacji, przejął dowodzenie nad całością dywizji. Oddziały 36 Dywizja Piechoty około godziny 16.00 po dojściu do szosy Skarżysko-Szydłowiec, po której odbywał się już ruch oddziałów 2 Dywizji Lekkiej, ruszyły do natarcia. I batalion 163 pp miał nacierać w kierunku leśniczówki Barak i dalej na wschód.