Po okrążeniu dywizji w pobliżu Krasnojarska w styczniu 1920 wraz z grupą innych żołnierzy nie uznał kapitulacji i zbiegł poza kordon okrążenia.

Ukrywał się w Minusińsku w kraju krasnojarskim, gdzie znów krótko kierował fabryką narzędzi rolniczych. Aresztowany przez bolszewików spędził, torturowany, dwa miesiące w więzieniu. Po ucieczce ukrywał się w tajdze, a po dwóch miesiącach zorganizował oddział partyzancki i walczył jako jeden z głównych dowódców białych w Urianchaju. Głównym sukcesem tego okresu było zdobycie przez Giżyckiego i innych dowódców stolicy Tuwy Białocarska. Po klęsce oddziałów białych i złamaniu nogi w trakcie walk, na przełomie 1920/1921 zbiegł do północno-zachodniej Mongolii. Po powstaniu Białych przeciwko Chińczykom wczesną wiosną 1921 wstąpił w szeregi Białych i jako ich wysłannik wyjechał do Sinciangu w celu nawiązania współpracy z generałem Bakiczem i atamanem Annienkowem. Po powrocie do Mongolii wstąpił do armii barona Ungerna. Walczył w czasie nieudanej ofensywy ungerowców na Urianchaj, a potem kierował zorganizowaną przez siebie fabryką produkującą granaty, miny i gazy bojowe dla Ungerna. Jako dowódca oddziału chemicznego w połowie lipca wziął udział w ostatniej kampanii Ungerna atakującego rejon Wierchnieudińska w Rosji, a po załamaniu ataku oraz upadku Ungerna wraz z jego 2.