Choć później rozpowszechniła się legenda, że do poczęcia doszło po przypadkowym spotkaniu przy grobie (ówcześnie błogosławionego) Jana Nepomucena w katedrze św. Wita na Hradczanach, fakty były inne. Nawet w czasie rozłąki dochodziło bowiem między nimi do spotkań intymnych, o czym świadczy zachowana korespondencja. Wynika z niej również, że Eleonora Amalia miała nadzieję na ciążę już w latach 1712 i 1715, lecz bezskutecznie. Schwarzenbergowie wierzyli w wstawiennictwo Jana Nepomucena – na jego cześć ufundowali kaplicę w kościele parafialnym w Czeskim Krumlovie.
Odbudowane pożycie trwało jednak tylko dziesięć lat. W czerwcu 1732 roku cesarska para miała przybyć do Czeskiego Krumlova w towarzystwie Adama Franciszka. W Krumlovie czekali już Eleonora Amalia i Józef Adam. Zamiast gości przybył jednak posłaniec z tragiczną wiadomością – cesarz Karol VI podczas polowania pod Brandýsem nad Łabą śmiertelnie postrzelił jej męża. Krótkowzroczny cesarz wziął go za jelenia i przypadkowo wystrzelił w kierunku najwyższego stolnika (funkcję tę pełnił Adam Franciszek na dworze cesarskim). Zapiski w cesarskim dzienniku relacjonują, że gdy cesarz zrozumiał, co uczynił, chciał osobiście odwiedzić rannego. Ten został jednak przewieziony na zamek w Brandýsie, a cesarzowi doradzono powrót do Pragi.