Zburzenie W 1454 roku twierdza przestała istnieć. Po wybuchu ogólnokrajowego powstania Związku Pruskiego, 6 lutego krzyżacki zamek został zaatakowany. Zajęto go po sześciu dniach (załodze pozwolono odejść do Malborka) i z rozkazu Rady Starego Miasta zburzono. Przez następne sto lat pozostał w stanie ruiny, zaś pewne jego fragmenty (mury obronne, baszty i kilka budynków) została w całości rozebranych dopiero w końcu XVIII wieku. Do dzisiaj przetrwały tylko szczątki urządzeń obronnych obiektu. Część zabudowy podzamcza jeszcze w XV wieku władze miasta przekazały brygidkom, w rękach których pozostały do 1520 roku. Piętnaście lat później budynki te stały się siedzibą Gimnazjum Elbląskiego (współcześnie działa w nich Muzeum Archeologiczno-Historyczne w Elblągu).
W roku 1914 i ponownie w 1919 na terenie dawnego zamku prowadzono prace archeologiczne; w ramach wykopalisk odkryto m.in. dużą ilość detali architektonicznych, w tym bogato zdobiony portyk z motywem mądrych i głupich panien, prawdopodobnie służący za inspirację twórcy podobnego portyku w kościele zamkowym w Malborku.