Zabudowania otaczał wysoki mur ze strzelnicami, spoza którego widać jedynie dachy budynków. Z badań wiemy, że w tym okresie zamek był o 1/3 większy od średniowiecznego budynku. W fasadzie posiadał dwa bliźniacze ryzality, nakryty był dachem z ozdobnymi szczytami. Wystrój elewacji dopełniały narożne boniowania oraz ozdobne obramienia otworów drzwiowych i okiennych. Od strony jeziora do ściany zamku dostawiona była ozdobna loggia. Zamek wyremontowano w 1696 r. o czym świadczy odkryta ostatnio data na elewacji wschodniej. W opisie sporządzonym w XVIII w. zwrócono uwagę na piękny widok roztaczający się z okien zamkowych. Zamek odwiedził król polski Władysław IV Waza, a także car Aleksander IR. Herman, Zamek w Ełku. Tajemnice wydobyte z przeszłości, Ełk-Łódź 2015, s. 79-95. Od 1751 w zamku mieścił się Urząd Sprawiedliwości, a od 1782 Powiatowa Komisja Sprawiedliwości. W 1807 po zajęciu Ełku przez wojska napoleońskie w zamku gościł marszałek Francji Michel Ney. W 1818 w zamku zorganizowano Sąd Powiatowy i Grodzki. Po dużym pożarze 25 czerwca 1833 roku pozostały tylko mury zamkowe. W 1879 utworzono w zamku Sąd Krajowy i Powiatowy. W 1888 kompleks zamkowy przebudowano i zamek zaczął funkcjonować jako zakład więzienny. W 1889 usypano groblę łączącą wyspę zamkową z zachodnim brzegiem jeziora.