W 1815 roku cesarz Franciszek I postanowił wydzielić z eparchii mukaczewskiej nową diecezję ze stolicą w Preszowie. Zgodnie z prawem patronackim 13 marca 1816 roku wyznaczył Gregora Tarkoviča na pierwszego biskupa preszowskiego, który przez kolejne dwa lata przebywał w Wiedniu w celu dokończenia procesu kanonicznego tworzenia nowej eparchii. 18 września 1818 roku papież Pius VII zatwierdził bullą Relata semper utworzenie eparchii preszowskiej, 26 września Stolica Apostolska potwierdziła powołanie Gregora Tarkoviča na jej pierwszego ordynariusza. Do Preszowa przybył w listopadzie 1820. Sakrę biskupią otrzymał z rąk eparchy mukaczewskiego Alexisa Potsa 17 czerwca 1821 roku w w Krasnym Brodzie.
W czasie sprawowania urzędu biskupa przyczynił się do rozwoju Preszowa, wyremontował popadający w ruinę dawny klasztor Braci Mniejszych adaptując go na pałac biskupi i kurię, założył bibliotekę i archiwum diecezjalne, zalecał zakładanie szkół przykościelnych w celu zwalczania analfabetyzmu wśród ubogich, dbał o wykształcenie księży i zapewnienie opieki duszpasterskiej więźniom.