Jednakże dopiero w dziesięć lat później nadszedł kolejny cios, który pozbawił ją resztek miłości i zaufania męża. Około 19 roku p.n.e., kiedy cesarz Cheng odwiedzał swoją siostrę, księżniczkę Yang, zakochał się dwóch tańczących na przyjęciu dziewczynach – Zhao Feiyan i jej siostrze Zhao Hede, po czym mianował je cesarskimi konkubinami i zaczął wynosić je ponad cesarzową Xu i konkubinę Ban. W 18 roku p.n.e. siostry Zhao fałszywie oskarżyły cesarzową i konkubinę o stosowanie czarów w celu odzyskania miłości cesarza i urodzenia mu potomka. Cesarzowa Xu została odsunięta, a konkubina Ban popełniła samobójstwo.
Usunięcie z dworu i śmierć
Cesarzowa Xu prawdopodobnie wciąż była traktowana jak nakazywała tradycja, ale przerażała ją utrata statusu i wolności. Około 10 roku p.n.e. próbowała poprawić swoją sytuację – w tym czasie jej siostra Xu Mi po śmierci swojego męża, Han Bao, markiza Longe, rozpoczęła romans z ulubionym i cieszącym się największym zaufaniem kuzynem cesarza Chenga, Chunyu Zhang, który miał zostać następcą Wang Gena na stanowisku dowódcy gwardii cesarskiej. Cesarzowa Xu poprosiła siostrę o skontaktowanie jej z Chunyu, któremu już od jakiegoś czasu przesyłała kosztowne dary – miało to na celu zdobycie poparcia Chunyu w jej sprawie.