Skała, na której stał zamek posiada sporej wielkości grotę, łączącą się z labiryntem wykutych w skale zamkowych lochów.
Osadę pod zamkiem nazywano z początku Olsztynkiem. W przywileju lokacyjnym króla Kazimierza IV Jagiellończyka z 1488 r. miasto również nazwano Olsztynkiem. Nazwa Olsztyn po raz pierwszy w odniesieniu do miasta pojawiła się w dokumentach w 1620 r., a później obie nazwy funkcjonował zamiennie. Dopiero, gdy w wyniku wojen zamek popadł w całkowitą ruinę, miasto zaczęto nazywać Olsztynem. Przyczyniło się do tego również wybudowanie w mieście kościoła, do którego funkcje kultowe przeniesiono z kaplicy zamkowej, gdyż dokumenty parafialne tam prowadzone zachowały ciągłość nazewniczą pod nazwą Olsztyn.
Części miasta + Integralne części miasta Olsztyn SIMC Nazwa Rodzaj0140681 Bloki Kolejowe część miasta1001786 Joachimów część miasta (zniesiona w 2023 r.)0140698 Odrzykoń część miasta
Herb Najstarsza znana pieczęć Olsztyna pochodzi z XVI wieku. W 1870 roku należący wówczas do zaboru rosyjskiego Olsztyn utracił prawa miejskie, których nie odzyskał po odzyskaniu niepodległości. W II RP miejscowości gminne nie miały prawa posługiwać się znakiem. Herb wsi i gminy przywrócono w latach 80. XX wieku.