Krak i innych oficerów dywersji pozafrontowej do tworzenia oddziałów.
19 września, na dzień przed atakiem radzieckiego 15 Korpusu Czołgów, opuścił Grodno ze sztabem DOK nr III i zajął kwaterę w budynku szkoły w Teolinie, zachodnim przedmieściu Sopoćkiń 25 km na północny zachód od Grodna. Wokół niego koncentrowały się wycofywane z obrony Grodna (20–22 września) oddziały WP, w tym Rezerwowa BK „Wołkowysk” gen. Przeździeckiego i batalion KOP „Sejny”, z których Olszyna-Wilczyński zaplanował na 24 września utworzenie związku taktycznego o strukturze dywizji piechoty w rejonie Sejn.
Siły polskie zostały jednak zaatakowane 22 września po godz. 2 w nocy przez oddział wydzielony 2 Brygady Pancernej 15 Korpusu Pancernego Grupy Konno-Zmechanizowanej Frontu Białoruskiego Armii Czerwonej pod dowództwem mjr. Czuwakina. W końcowej fazie toczonego z tym zgrupowaniem boju pod Kodziowcami, około godz. 6:30, dwie godziny po wyjeździe sztabu z płk. Benedyktem Chłusewiczem, generał wyruszył limuzyną Buick prowadzoną przez szofera w kierunku granicy litewskiej wraz z żoną Alfredą, adiutantem kpt. art. Mieczysławem Strzemeskim i nieznanym z nazwiska pomocnikiem. Do wyjazdu miał ponaglać kpt. Strzemeski.