ogłoszono, że obaj zostaną zesłani do guberni kostromskiej. Decyzja cara została podjęta bez konsultacji z biskupem Józefem Siemaszką, który obawiał się, że surowa kara tym bardziej zniechęci do prawosławia kilkunastu innych niechętnych mu kapłanów.
Konwersja na prawosławie i dalsza służba Przerażony podjętą w swojej sprawie decyzją, Pańkowski 26 listopada 1838 r. zadeklarował chęć przejścia na prawosławie. Skierowano go do monasteru Świętych Piotra i Pawła w Byteniu, a jego przełożony, ihumen Leoncjusz, otrzymał polecenie szczególnego nadzorowania duchownego. Mimo to Pańkowski szybko zdołał wyjechać z monasteru i wyjechał na teren dekanatu bielskiego. Odmawiał stawienia się przed władzami duchownymi, w związku z czym Józef Siemaszko zwrócił się o pomoc do władz świeckich. Równocześnie 17 grudnia 1838 r. biskup napisał do cara z prośbą o anulowanie decyzji o zesłaniu. Z uwagi na zmianę postępowania kapłana zasugerował umieszczenie go jedynie na pięć tygodni w klasztorze w Żyrowiczach. Jego propozycja została przyjęta;