1338 do Ordy, kiedy to wybuchła wojna litewsko-tatarska, a Gleb Narymunt został jeńcem tatarskim, wykupionym następnie przez przebywającego w Ordzie wielkiego księcia moskiewskiego Iwana.

Po schwytaniu przez Ordę Narymunta, należące do niego księstwo połockie przeszło zapewne w bezpośrednie posiadanie Wilna, a rodzina Narymunta objęła w jego imieniu księstwo pińskie, potwierdzone następnie Narymuntowi tzw. „Testamentem Giedymina” (patrz). Być może już wówczas pieczę nad Połockiem i obronę wschodnich granic państwa przed Moskwą przejął po Narymuncie Olgierd. Świadczyć o tym może najazd Olgierda na moskiewski Możajsk, przeprowadzony jeszcze za życia Giedymina, 1 października 1341 roku.

Narymunt powrócił do Wielkiego Księstwa Litewskiego z niewoli tatarskiej dopiero po śmierci Giedymina, a więc najwcześniej w 1342 roku. Iwan Daniłowicz, a następnie jego syn i następca na tronie Szymon Iwanowicz, zatrzymali go zatem jako zakładnika w Moskwie.