Hrabstwo następnie na zmianę stawało się domeną królewską i było nadawane członkom rodziny królewskiej. Jego hrabiami byli współmałżonkowie lub bliscy krewni kolejnych królów Jerozolimy. W latach 1176–1186 hrabstwo należało do córki Amalryka II i jej kolejnych mężów, od 1191 należało do rodziny Lusignan. W 1187, po przegranej przez krzyżowców bitwie pd Hittin, Jafa trafiła w ręce Saladyna, ale w czasie III krucjaty została odbita przez Ryszarda Lwie Serce. W 1221 hrabstwo zostało przyznane Walterowi IV de Brienne przez jego wuja-króla Jana de Brienne. Walter był ożeniony z Marią Cypryjską, wnuczką króla Jerozolimy – Amalryka II, który był następcą swojego brata Gwidona. Około 1250 hrabstwo otrzymała młodsza gałąź rodziny Ibelinów. W 1268 Jafa została zdobyta przez Bajbarsa, a tytuł hrabiego stał się czysto tytularny. Tytuł jednak nadał Janowi Perezowi Fabrice, Jakub II, król Cypru i Jerozolimy.
Wasale Hrabstwo Jafy i Aszkelonu miało trzech wasali, którzy bezpośrednio mu podlegali: pana Ramli, pana Ibelinu, pana Mirabel (Mirabel wyodrębnione z Ibelinu, podlegało rodzinie Ibelin)