Po tym, jak przy tej samej ulicy w 1859 roku zamieszkał James McNeill Whistler, Hiffernan zaczęła mu pozować, pojawiając się po raz pierwszy w 1861 roku na obrazie Wapping. Zaczęli wtedy także romans. Hiffernan pozowała do wielu prac Whistlera, w tym do Symfonii w bieli nr 1, który stał się sensacją, gdy wystawiono go w 1862 roku w Londynie i w 1863 roku na wystawie Salonu Odrzuconych w Paryżu.
Podczas wyprawy do Trouville Courbet malował Hiffernan jako Piękną Irlandkę. Wykonał cztery wersje tego portretu, jednak wersja z Nationalmuseum jest uważana za oryginał. Po latach w liście do Whistlera wspominał:
„pamiętasz Trouville i Jo, jak udawała klauna, żeby nas zabawić. Tego wieczora, kiedy śpiewała tak dobrze piosenki irlandzkie, miała nastrój i wyczucie sztuki”.
Pod koniec lat 60., kiedy Whistler wyjechał na pewien czas do Ameryki Południowej, Hiffernan pozowała do wielu innych dzieł Courbeta, w tym znanego Sen (Le Sommeil). Są sugestie, że pozowała również do prowokacyjnego dzieła Pochodzenie świata, jednak nie ma na to niezbitych dowodów.
W liście do Whistlera z 1877 roku Courbet zauważył: „Mam wciąż portret Jo, którego nigdy nie sprzedam. Każdy go podziwia”.