Zniesienie na początku XIX w. przywilejów handlowych spowodowało stopniowy upadek Domu Płócienników. Budynek nie był należycie remontowany i jego stan techniczny pogorszył się na tyle, że musiano zrezygnować z planów przebudowy i przystosowania go na potrzeby magistratu. Jeszcze 24 czerwca 1859 roku odbył się w nim ostatni dzień targowy, a 26 listopada tegoż roku rozpoczęto rozbiórkę, którą ukończono w ciągu następnej zimy, gdyż zdecydowano o budowie w tym miejscu od podstaw Nowego Ratusza. Wcześniej fotograf C. G. Werner udokumentował wyburzany budynek, wykonując kilka fotografii. Z Domu Płócienników zachowano jedynie kilka kamiennych detali, wbudowanych później jako spolia w elewacje Nowego Ratusza.
Architektura Pierwotny dom małej wagi miał 10,50 m szerokości (w kierunku wschód-zachód) i 30,60 m długości (w kierunku północ-południe) i miał trzy kondygnacje. Główną kondygnację stanowiło pierwsze piętro z ośmioma prostokątnymi trójdzielnymi oknami. Południowe skrzydło dobudowane w 1540 r. miało 20,40 szerokości oraz 13,80 m długości (kierunki jak wyżej). Starsza część nakryta była dachem dwuspadowym, zaś nowsza, o podwójnej szerokości, dwoma dachami dwuspadowymi z koszem między nimi. Południową, czteroosiową elewację wieńczyły dwa szczyty osłaniające poddasze.