Zamek pełnił funkcje sądu i więzienia do roku 1935. W roku 1936 po przeprowadzeniu szeregu prac adaptacyjnych, zamek stał się siedzibą hitlerowskiej szkoły Hitlerjugend HJ-Ostlandführerschule i tę funkcję pełnił do roku 1945. Po zajęciu miasta przez Armię Czerwoną zamek, w odróżnieniu od Starego Miasta, szczęśliwie uniknął poważniejszych zniszczeń. Splądrowano jedynie jego wnętrza.
W grudniu 1949 roku zamek został przejęty przez Ministerstwo Kultury i Sztuki.
Obecnie mieści się w nim Muzeum w Kwidzynie.
Opis Zamek na przestrzeni dziejów był wielokrotnie przebudowywany, w zależności od różnych czynników był rozbudowywany i częściowo rozbierany. W czasie swego największego rozwoju (między XVI a XIX wiekiem) stanowił on czteroskrzydłowy, regularny kompleks z krużgankowym dziedzińcem wewnętrznym. W narożach rozbudowano regularne czteroboczne wieże, zwieńczone strzelistymi czterospadowymi dachami. Wyjątkiem pozostała wysoka (59 m) wieża znajdująca się w południowo-wschodnim narożu. W 1798 roku zamek został częściowo rozebrany przez władze pruskie. W ramach prac rozebrane zostały skrzydła: wschodnie (przylegające do katedry) i reprezentacyjne skrzydło południowe (znajdujące się od strony starego miasta), w którym znajdował się między innymi refektarz biskupi. Od tego czasu zamek stracił swą zamkniętą, regularną formę.