Historia Wyspa i projekty Wyspa Herrenchiemsee już w średniowieczu była własnością klasztoru Herrenchiemsee, podległego biskupowi Chiemsee. Budynki zakonne mieściły się w północnej części wyspy. W 1803 w Bawarii przeprowadzono sekularyzację dóbr zakonnych i klasztor sprzedano pochodzącemu z Mannheim Carlowi von Lüneschloß. Niektóre z budynków zostały zburzone, a pozostałe przebudowane na tzw. stary pałac Herrenchiemsee (Altes Schloss Herrenchiemsee). W 1840 Herrenchiemsee kupił graf von Hunoltstein, by trzydzieści lat później, w 1870, wystawić posiadłość na sprzedaż. Nabywcą było wirtemberskie przedsiębiorstwo przeróbki drewna, które chciało wyciąć wszystkie lasy na wyspie. Plany te wywołały sprzeciw ludności i głośne protesty na łamach regionalnej prasy, co skierowało uwagę króla Ludwika II na wyspę.

Młody król wyjechał latem 1867 w dłuższą podróż po Francji, której najważniejszym punktem miało być zwiedzanie pałacu w Wersalu. Niespodziewana śmierć wuja, Ottona zmusiła króla do wcześniejszego powrotu i nie pozwoliła na obejrzenie pałacu, którego historią bardzo się interesował. W grudniu 1868 zlecił Georgowi von Dollmannowi zaprojektowanie refugium na wzór francuskich pałaców, które miało stanąć w dolinie Graswang, w pobliżu pałacu Linderhof.