Królowa spiskowała przeciwko Ryszardowi, księciu Gloucester m.in. z lordem Hastingsem, który został zamordowany przez żołnierzy księcia Buckingham (męża jej siostry Catherine). 16 czerwca 1483 z rozkazu Ryszarda następca tronu opuścił sanktuarium i dołączył do swego brata w Tower.

Upadek 22 czerwca 1483 małżeństwo Elżbiety i Edwarda IV zostało uznane za nieważne, gdyż pomiędzy 1461 a 1464 król zawarł małżeństwo (lub obiecał jego zawarcie) z Eleanor TalbotEleanor Talbot była wdową po Thomasie Butlerze, stąd też jest znana jako Eleanor Butler. Obietnica ta była wiążąca, stąd uznano, że Edward żył w bigamii (jednak Eleanor Talbot zmarła 2 lata przed narodzinami Edwarda V). Domniemana żona Edwarda IV ani jej rodzina nigdy nie wysuwały żadnych roszczeń przeciwko królowi w związku z tą relacją. Robert Stillington, biskup Bath i Wells twierdził, że udzielił ślubu tej parze. Na tej podstawie wszystkie dzieci Edwarda i Elżbiety zostały uznane za nieślubne (w tym obecny król Edward V).