Po zakończeniu I wojny światowej jej małżeństwo rozpadło się, gdyż wojenne doświadczenia Richarda Peabody’ego były traumatyczne, w efekcie czego popadł w alkoholizm. Wraz z Peabodym mieli dwoje dzieci: syna Williama Jacoba i córkę Polly. 9 września 1922 r. wyszła ponownie za mąż, za Harry’ego Crosby’ego, wykształconego na Uniwersytecie Harvarda bratanka J.P. Morgana, również weterana I wojny światowej, który służył w II bitwie pod Verdun i w 1919 r. otrzymał francuski Krzyż Wojenny. Była od drugiego męża starsza o 6 lat. Para już dwa tygodnie po zawarciu znajomości rozpoczęła romans, który był obiektem powszechnych plotek w wyższych sferach Bostonu, gdyż była jeszcze wówczas mężatką.
Drugi mąż nie chciał pozostać w Stanach Zjednoczonych i już dwa dni po ślubie para przeniosła się do Paryża. To właśnie Crosby zasugerował, aby przyjęła nowe imię, co miało podkreślić nowy etap w jej życiu. Wówczas zaczęła nazywać siebie Caresse, a pod koniec 1924 r. mąż przekonał ją do formalnej zmiany imienia na Caresse. Para zamieszkała w starym młynie koło zamku księcia de la Rochefoucauld na przedmieściach Ermenonville, który nazwali Le Moulin du Soleil (pol. Młyn Słońca). Małżonkowie zakupili młyn podczas wizyty w tymże zamku.