Filaret miał jednak problem ze swoimi rodakami, licznie zamieszkującymi podbity przezeń region. Był bowiem melkitą, członkiem znienawidzonego przez wielu Ormian, kościoła greckiego. Lokalni wodzowie ormiańscy tacy jak na przykład Ruben czy Oszin, uznawali wprawdzie władzę Filareta, ale byli jej niechętni. Po abdykacji cesarza Michała Filaret dogadał się z jego następcą, Niceforem Botaniatesem. W zamian za uznanie władzy na zdobytych przez siebie terenach, rezygnował z roszczeń względem Bizancjum i uważał się za poddanego Cesarza. W praktyce zwierzchnictwo bizantyjskie nad władztwem Filareta było bardzo nikłe o czym może świadczyć fakt iż złożył on coś w rodzaju hołdu nie tylko Konstantynopolowi, ale także muzułmańskim władcom AleppaRunciman Steven, Dzieje wypraw krzyżowych, tom I, Książnica, Katowice, 2009.

W 1084 roku Filaret stracił Antiochię na rzecz Sulejmana I a trzy lata później Edessa dostała się w ręce Malikszaha I. Otoczony przez Turków i wrogich poddanych zbiegł do Germanikei, gdzie wkrótce zmarł.