Związek i późniejsze życie Bryher już od najmłodszych lat wiedziała, że jest lesbijką. W 1918 roku poznała i związała się z amerykańską poetką Hildą Doolittle, lepiej znaną pod inicjałami HD. Związek był otwarty, obie miały innych partnerów. W 1921 roku zawarła małżeństwo z rozsądku z amerykańskim pisarzem Robertem McAlmonem, z którym rozwiodła się w 1927 roku.
W tym samym roku wyszła za mąż za Kennetha Macphersona, pisarza, który podzielał jej zainteresowanie filmem i był jednocześnie kochankiem HD. W Burier w Szwajcarii, z widokiem na Jezioro Genewskie, para zbudowała budynek w stylu Bauhaus, który pełnił jednocześnie funkcję domu i studia filmowego, któremu nadali nazwę Kenwin. Formalnie adoptowali córkę HD, Perditę. W 1928 roku HD zaszła w ciążę z Macphersonem, ale zdecydowała się na aborcję. Bryher rozwiodła się z MacPhersonem w 1947 roku; ona i Doolittle nie mieszkali już razem po 1946 roku, ale kontynuowali swój związek aż do śmierci Doolittle’a w 1961 roku.