W czasach panowania Władysława Jagiełły zamek Kazimierza otoczono murem kamiennym o grubości 1,3 metra. Od wschodu mur ten miał długość 47 metrów i znajdował się w nim przejazd bramny na dziedziniec. Obszar zamknięty murem zajmował około 2300 m2. Z lustracji z 1636 roku wynika, że wjazd na zamek od strony miasta (a więc od wschodu) biegł przez podpiwniczoną wieżę bramną, której szczyty od Miasta po prusku murowane. Za bramą po lewej była stajenka, spichlerz, stajnia większa oraz wozownia i studnia. W budynku głównym na parterze była sień, izba stołowa oraz 7 innych pomieszczeń. Na piętrze była wielka izba stołowa z częścią dla muzyków. Piec zdobił herb króla. Od strony rzeki do zamku przylegał ogródek włoski. Po pożarze w 1638 roku do wieży dobudowano prostopadle od południa budynek o długości 18 metrów.
Stan obecny Teren dawnego zamku zabudowano budynkami mieszkalnymi. Przetrwały jedynie niewielki fragment muru i kamienna przypora. Ocalałe fragmenty zamku widoczne są na posesji przy ul. Podzamcze 11 (XIV wiek) oraz ul. Koneckiej 2 (być może z 1 poł. XIX wieku.