Uznaje się, że do XII wieku góry były bardzo słabo zaludnione, wręcz niezamieszkałe i dopiero kolonizacja niemiecka wytworzyła stałą sieć osadniczą.
Północny skraj gór przynależy do historycznego Vogtlandu (którego granice różnią się od jednostki geograficznej). Ten dzieli na część saksońską (północne stoki Gór Elstrowskich) i bawarską (północne stoki Wysokich Smreczan). Nazwa Vogtland oznacza dosłownie „Kraj Wójtów” i odnosi się do tytułu feudalnego jaki nosili władcy tych ziem od XII do XVI wieku. W 1566 roku tereny te przejął należący do Wettynów Elektorat Saksonii. Tymczasem w 1498 roku część Vogtlandu wokół miasta Hof przejęli Hohenzollernowie rządzący Księstwem Kulmbach (przemianowanym w 1604 na Księstwo Bayreuth), których ziemie przejęło w 1810 roku Królestwo Bawarii.
W średniowieczu częścią Vogtlandu był też tzw. Asski cypel (cz. Ašsko lub Ašský výběžek, niem. Ascher Ländchen), który w 1557 roku stał się lennem Królestwa Czech, a następnie w 1774 roku do niego inkorporowany przez Marię TeresęAsch-Boehmen.de.