a i to w gruncie było fałszem, żem się poświęcał dla Kościoła, kiedy chęć usunięcia się od świata z powodu doznanych zawodów z jednej strony, z drugiej zaś przekonanie, iż na tej drodze najskuteczniej będę mógł służyć krajowi, były prawdziwym postanowienia mego powodem. Na moje szczęście postępowałem w dobrej wierze, nie domyślając się wcale, na jak fałszywej byłem drodze, a ta nieświadomość skłoniła zapewne Łaskawego Pana, że służby mej nie odrzucił i pozwolił, iż łuski światowej zarozumiałości powoli z oczu mych opadły i prawdziwą światłość ujrzeć mi pozwoliły”.
Studia teologiczne rozpoczął jesienią 1851 w seminarium duchownym w Żytomierzu. Po dwóch miesiącach został przeniesiony na drugi kurs, a z końcem 1852 wysłano go do Akademii Duchownej w Petersburgu. Ówczesny rektor tej akademii, abp Ignacy Hołowiński, nosił się z zamiarem założenia zgromadzenia zakonnego księży. W Felińskim dostrzegł kandydata do tego zgromadzenia i postanowił o rok wcześniej udzielić mu święceń kapłańskich. Dokonał tego 8 września 1855 na ostatniej odprawianej przez siebie mszy św. Wkrótce po śmierci abpa Hołowińskiego założone przez niego zgromadzenie upadło, lecz Feliński czuł się związany do śmierci złożonymi w nim ślubami. Zaraz po święceniach kapłańskich pracował jako wikariusz w parafii św.