Po upadku powstania na Wołyniu w kwietniu 1831 roku wraz z 3 Pułkiem Strzelców Konnych, dowodzonym przez Józefa Dwernickiego, przekroczył granicę między Królestwem Kongresowym a Austrią, gdzie został internowany i uwięziony.
Stany Zjednoczone W 1834 roku władze austriackie wraz z 264 powstańcami przymusowo deportowały go do Stanów Zjednoczonych, do których przybyli w marcu na dwóch austriackich fregatach. Polskę znajdującą się pod zaborami ze względu na represje polityczne opuściła również jego najbliższa rodzina. W USA Gzowski utrzymywał się początkowo z lekcji szermierki, muzyki oraz języków. Był poliglotą, oprócz języka polskiego znał także angielski, niemiecki, włoski oraz rosyjski. Później ukończył studia prawnicze praktykując w firmie adwokackiej w Pittsfield. W 1838 roku zdał egzaminy prawnicze i otrzymał obywatelstwo amerykańskie uzyskując pozwolenie na praktykę adwokacką w Beaver w Pensylwanii. W Stanach Zjednoczonych trwała wówczas rozbudowa kolei. Gzowski powołując się na doświadczenie inżynieryjne, które jako saper zdobył w armii carskiej został zatrudniony przez Williama Milnora Robertsa, szefa budowy większości stanowych inwestycji budowlanych.