Inwestorem oleckiego zamku siedziby starostów książęcych był Fryderyk Wilhelm (1640–1680). W XVIII w. zamek zaczął podupadać, a w 1822 r. spłonął całkowicie i nie został już odbudowany. Pod koniec XIX w. ruiny zamku zostały usunięte, a na ich miejscu stanął w 1897 r. neogotycki budynek starostwa powiatowego. W czasie robót wykopaliskowych, prowadzonych w l. 80 XX wieku od strony południowej budynku starostwa odsłonięto fragmenty konstrukcji dawnego zamku z wyraźnie widoczną basztą narożną.