Krążyły plotki, że 22 września 1862 r., została matką nieślubnego syna cesarza, późniejszego dentysty .
Hrabina znana była ze swej niezwykłej urody i oryginalnych, wyszukanych strojów. Jednym z najbardziej ekstrawaganckich był kostium „Damy Kier”, w którym w 1857 r. namalował ją portrecista George Frederick Watts, wywołując skandal na dworze cesarskim. Hrabina de Castiglione była opisana jako posiadająca długie, falowane blond włosy, jasną cerę, delikatny owal twarzy i oczy, które często zmieniały kolor z zielonego na niebiesko-fioletowy.
Zjednoczenie Włoch Hrabina powróciła do Włoch w 1857, po zakończeniu romansu z Napoleonem III. Cztery lata później Włochy zostały ogłoszone Zjednoczonym Królestwem, dzięki wpływowi, jaki wywarła ona na cesarza Francji, który zdecydował się w 1859 poprowadzić 100 tys. armię na pomoc Królestwu Sardynii (Piemontu), zaatakowanemu przez wojska austriackie. Zostały one pobite przez Francuzów pod Magentą (4 czerwca 1859) i Solferino (24 czerwca 1859) w Lombardii, po czym Napoleon III zawarł z Austrią rozejm, anektując prowincję lombardzką do Francji, a następnie wymieniając ją z Piemontem na przygraniczne tereny Sabaudii i Nicei. Klęska Austrii stała się asumptem do powstań narodowościowych w Toskanii, Parmie, Modenie i Państwie Kościelnym.