Rozwinęło się także podmiejskie budownictwo mieszkaniowe, powstały nowe szkoły i obiekty użyteczności publicznej.
W 1972 r. miasto było siedzibą, ale nie należało do gromady Olecko.
Architektura mały|Kościół Podwyższenia Krzyża Świętego mały|Zabytkowe molo nad Jeziorem Olecko Zabytki: Zabytkowy układ urbanistyczny miasta XVI–XIX w. Rynek wytyczony w kształcie nieregularnego trapezu wraz z lokacją miasta, o wymiarach 255 × 215 × 228 × 225 m – pod względem powierzchni największy w Polsce i jeden z największych w Europie. Silnie zgeometryzowana sieć ulic wychodzących z narożników rynku; tradycyjna, zwarta zabudowa została w większości zastąpiona po zniszczeniach 1945 r. luźną zabudową osiedlową i zachowała się jedynie od północno-wschodniej strony rynku. Dawny kompleks zamkowy – obiekt obronny istniał tu już w czasach staropruskich. W czasach krzyżackich, zbudowano w tym miejscu pałacyk myśliwski dla dostojników Zakonu. Historia mówi, że w 1560 r. spotkał się tu książę Albrecht z królem Zygmuntem Augustem. Przypuszczać można, że zameczek powstał na miejscu starej budowli warownej, o czym świadczy plan miasta Olecka z XVIII w. W późniejszym rejestrze budowli i zabytków wschodniopruskich istniał zapis rozpoczęcia w 1654 r. budowy okazałego zamku. Zamek z połowy XVII w. widział i opisywał w 1748 r. August Hermann Lucanus.