Na początku XVI w. górnictwo zaczęło upadać. Przyczyną było z jednej strony wyczerpywanie płytkich złóż, a z drugiej – niemożność eksploatacji złóż położonych głębiej, poniżej wydrążonych już sztolni dziedzicznych, które zalewane były wodą w takich ilościach, jakich górnicy nie byli w stanie usuwać. Komora Górnicza z siedzibą w Bańskiej Szczawnicy, pod którą podlegało miasto, założyła w nim w 1630 r. hutę szkła, wokół której powstało osiedle Stará Huta. Ludność zajmowała się wyrębem drzewa i wypalaniem węgla drzewnego. Rozwinięty był również wyrób kamieni młyńskich i żarnowych. W 1645 r. miasto dosięgła zaraza morowa, a w 1664 zniszczyli je Turcy. Do miasta zaczęła przybywać rolnicza ludność z okolicznych miejscowości, przez co zmieniło ono charakter na rolniczo-rzemieślniczy.
Ponowny rozwój górnictwa nastąpił na początku XVIII w. Przyczynił się do tego postęp techniczny. W roku 1722 pod kierunkiem angielskiego mechanika Isaaca Pottera (1690-1735) przy szybie kopalni rud srebra „Althandel” zbudowano pierwszą na kontynencie europejskim atmosferyczną maszynę parową systemu Newcomena, która napędzała pompy odwadniające.