Jako biskup i arcybiskup Karekin Nersisjan odznaczył się aktywnością przy podnoszeniu Armenii z ruin po trzęsieniu ziemi w 1988, a także przy duchowej odbudowie Armenii po okresie sowieckim.
Na synodzie elekcyjnym w 1995 Karekin Nersisjan był jednym z kandydatów na patriarchę, jednak wybrano wtedy biskupa Karekina Sarkisjana. W 1998 patriarcha Karekin I mianował Karekina Nersisjana swoim wikariuszem generalnym. Obowiązki te Nersisjan pełnił do śmierci Sarkisjana w czerwcu 1999.
27 czerwca 1999 Karekin Nersisjan został wybrany najwyższym z czterech patriarchów Apostolskiego Kościoła Ormiańskiego, a 4 listopada tego samego roku został intronizowany na stolicę patriarszą w Eczmiadzynie jako Karekin II. Według oficjalnej listy patriarchów jest 132. patriarchą.
W 2006 złożył wizytę w Turcji, gdzie spotkał się z ekumenicznym patriarchą Konstantynopola Bartłomiejem I oraz ormiańską społecznością Stambułu. Podczas pobytu doszło do napięcia z rządem tureckim, ponieważ Karekin II nazwał przeprowadzoną przez Turków w czasie I wojny światowej Rzeź Ormian ludobójstwem.