W 1901 roku poślubiła w Berlinie miejscowego architekta Augusta Endella i przyjęła jego nazwisko. Para żyła w otwartym związku. W 1902 roku Elsa związała się z przyjacielem męża – mało znanym poetą i tłumaczem Felixem Paulem Grevem, znanym później jako Frederick Philip Grove. Po podróży we troje do Palermo na Sycylii małżeństwo Endellów rozpadło się pod koniec stycznia 1903 roku. Rozwód orzeczono w 1906 roku. Elsa pośłubiła Felixa Greve w 1907 roku, w Berlinie.
Przeprowadzka do Ameryki thumb|Freytag-Loringhoven (zdjęcie sprzed 1923) W 1909 roku, Elsy mąż, Felix, wpadł w poważne kłopoty finansowe. Z pomocą Elsy zaaranżował samobójstwo i pod koniec lipca 1909 roku wyjechał do Stanów Zjednoczonych. W lipcu 1910 roku dołączyła do niego Elsa. Małżonkowie rozpoczęli nowe życie w Stanach Zjednoczonych i zaczęli prowadzić małą farmę w Sparcie, w stanie Kentucky, niedaleko Cincinnati. W 1911 roku Greve opuścił farmę i udał się na Zachód. Nie ma zapisów na temat rozwodu Elsy z Grevem. Aby się utrzymać, Elsa zaczęła pracować jako modelka dla artystów w Cincinnati i udała się na Wschód przez Zachodnią Wirginię i Filadelfię. W listopadzie 1913 roku, już w Nowym Jorku, poślubiła trzeciego męża – niemieckiego barona Leopolda von Freytag-Loringhovena (syna Hugona von Freytag-Loringhovena).