od wieków na Węgrzech nie urodziło się żadne królewskie dziecko. Gdyby Maria Waleria była chłopcem, otrzymałaby imię Stefan na cześć kanonizowanego króla i patrona Węgier Stefana. Według historyczki Brigitte Hamann, chłopiec urodzony królowej Węgier na zamku w Budapeszcie mógł dawać szansę na objęcie przez niego tronu, oddzielając Węgry od Cesarstwa Austrii. Z tego powodu na dworze wiedeńskim panowała powszechna ulga, że Maria Waleria jest dziewczynką.
Zaczęły rozprzestrzeniać się złośliwe plotki, że Maria Waleria była w rzeczywistości córką przyjaciela i wielbiciela Elżbiety, Gyuli Andrássyego, premiera Węgier. Utrzymywały się one aż do dzieciństwa Valerie, głęboko ją raniąc. Jednak fizycznie przypominała Franciszka Józefa bardziej niż którekolwiek z jej rodzeństwa, tym bardziej, gdy dorastała, i ostatecznie pogłoski ucichły. Z powodu atmosfery, którą stworzyli, Valerie rozwinęła dożywotnią antypatię do wszystkiego, co miało związek z Węgrami, pogłębioną przez naleganie Elżbiety, by rozmawiać z nią wyłącznie po węgiersku. Ucieszyła się, gdy pozwolono jej rozmawiać po niemiecku z ojcem, którego uwielbiała. Ponadto mówiła płynnie po angielsku, francusku i włosku. Uwielbiała pisać sztuki teatralne i wiersze, była utalentowaną artystką amatorką, która szczególnie lubiła malować kwiaty.