Yoriie próbował przy pomocy klanu Hiki podporządkować sobie klan Hōjō, ale przegrał i został umieszczony w areszcie domowym, zmuszony do abdykacji i ostatecznie zamordowany 17 czerwca 1204 w Izu.
Następcą Yoriie został jego młodszy brat Sanetomo, ostatni z linii rządzącej Seiwa-Genji.
Trzech synów Yoriie Yoriie miał trzech synów: Ichimana, Kugyō (Yoshinari), Senjumaru. Wszyscy zmarli gwałtowną śmiercią, byli ofiarami walki o władzę po śmierci Yoritomo.
Ichiman (1198-1203) był najstarszy. Jego matką była Tsubone Wakasa, córka Yoshikazu Hiki. Dorastał wychowywany przez klan Hiki. Zginął w ogniu, który zniszczył rezydencję klanu HikiKamakura Citizen’s Net..
Drugi syn, Kugyō (Yoshinari 1201-1219), jako jedyny dożył dorosłego wieku, musiał stać się mnichem buddyjskim. W 1219 r. na kamiennych schodach świątyni Tsurugaoka Hachiman-gu w Kamakurze zamordował swojego wuja Sanetomo. Za ten akt został tego samego dnia został zabityKusumoto (2002: 70-73)..