W 1426 r. zostało zniszczone w czasie wojen husyckich. Od XVI w. rozwija się ponownie jako ośrodek sukiennictwa i płóciennictwa oraz handlu ich wyrobami. Na krótko rozwój został przerwany w roku 1567 przez pożar. W XVII w. doszło do starć na tle religijnymi między protestantami a katolikami. 29 grudnia 1620 roku w Chełmsku miejscowa ludność zabiła opata Marcina Clavei z Krzeszowa. W ramach represji miasto straciło prawa miejskie. Ogromny pożar w 1629 r. zniszczył prawie połowę domostw (około 60 na blisko 120).

W 2. połowie XVII w. miasto ożywiło się dzięki tkactwu chałupniczemu, którego produkty były sprzedawane w całej Europie, a nawet w Ameryce. W tym okresie powstały mieszczańskie kamienice w rynku oraz zespoły drewnianych domów („Dwunastu Apostołów” i „Siedmiu Braci”) przy drogach wyjazdowych. W 1793 r. doszło do buntu tkaczy sprowokowanych przez kupców kamiennogórskich. Na wieść o zamieszkach w Chełmsku doszło do starć w Lubawce, Kamiennej Górze, a nawet w dość odległym Bolkowie. Bunt rozprzestrzenił się na obszar całych Sudetów Środkowych i Pogórza. Dopiero po interwencji władz został przywrócony spokój. Rozwój tkactwa mechanicznego doprowadził do upadku tradycyjnych rzemieślników. Około połowy XIX w. miasto podupada i daje się zauważyć odpływ ludności. Sytuację pogarszają kolejne pożary w 1829 i 1848 r.