Władze austriackie szybko zdały sobie sprawę z błędu, ale Żymirski nie dał się złapać drugi raz. Na początku 1797 wraz z Michałem Kleofasem Ogińskim udali się do Paryża zręcznie unikając ścigających ich Austriakówkrótki, ale ciekawy opis tej ucieczki przedstawia Ogiński w swoich Pamiętnikach.

Legiony, San Domingo, powrót do Europy Od 1797 w Legionach Polskich. Był w grupie 30 oficerów przedstawionych Napoleonowi do awansu 27 V 1797 i 1 VI otrzymał stopień kapitana oraz dowództwo kompanii piechoty w V batalionie 2 Legii a po reorganizacji Legionów w lipcu 1797 w II batalionie 2 Legii. Wziął udział w walkach pod Legnano, Weroną i w oblężeniu Mantui. Po kapitulacji twierdzy przebywał w niewoli 10 miesięcy w ciężkich warunkach w Leoben. Po powrocie z niewoli awansowany na kapitana II klasy i przydzielony do V batalionu Legii Włoskiej. Uczestniczył w blokadzie Ferrary. W grudniu 1801 po reorganizacji Legii Włoskiej przydzielony do 2 Batalionu w utworzonej 2 Półbrygadzie Polskiej, którą po przemianowaniu w 114 Półbrygadę Piechoty Liniowej Francuskiej, Napoleon skierował do tłumienia powstania na Saint-Domingue. W 1803 uczestniczył w walkach na wyspie, a po wzięciu do niewoli trafił do angielskiego obozu na Jamajce, skąd po zwolnieniu, przez Stany Zjednoczone powrócił w lutym 1804 do Europy.