Początki i studia w Krakowie Niewiele wiadomo o życiu Rafajłowicza przed rozpoczęciem przez niego studiów na Uniwersytecie Marcina Lutra w Halle i Wittenberdze w 1542 roku. Wynika to z faktu że większość jego wczesnych biografii jest jedynie przypuszczeniem. Był potomkiem litewskiej rodziny szlacheckiej zamieszkującej wieś Hornostaiszki w okolicach Ejszyszek, która prawdopodobnie używała herbu Działosza (zdjęcie podobnego herbu zostało dodane obok jego nazwiska w rejestrze na Uniwersytecie w Królewcu). Jego data urodzenia jest nieznana. W 1726 r. Michael Lilienthal napisał, że Rafajłowicz zmarł w wieku 60 lat, co oznaczałoby iż urodził się około 1485 roku. Jednak nowsze publikacje zwykle podają rok 1500 jako faktyczną datę narodzin.

Wszyscy ówcześni biografowie którzy podjęli się napisania życiorysu Rafajłowicza stwierdzili, że przed jego nawróceniem na luteranizm (prawdopodobnie około 1525 roku) należał on do Zakonu Franciszkanów w Wilnie. Był wykształconym człowiekiem i zarabiał na życie jako prywatny nauczyciel miejscowej szlachty. Uważa się, że Rafajłowcz uzyskał wsparcie od Jonasa Stanislovasa Bilevičiusa, żmudzkiego szlachcica i przygotował grupę studentów na studia na Uniwersytecie Jagiellońskim (ówcześnie pod nazwą Akademia Krakowska), jedynej istniejącej wówczas uczelni wyższej w regionie.