Po śmierci Izabeli Poniatowskiej rezydencja przeszła w 1809 roku na własność Marianny Potockiej, żony ministra Tadeusza Mostowskiego, a potem na Aleksandra Komara (męża Pelagii, córki Marianny i Tadeusza). W tym czasie doszło do zaniedbania założenia pałacowego, które oddano w dzierżawę, a w jednej z oficyn założono manufakturę sukienniczą. Pałac został uszkodzony w 1831 roku podczas Powstania listopadowego i stał pusty.
W 1840 roku oficyny pałacowe i przylegający teren zostały wydzierżawione od Komara na fabrykę włókienniczą przez Christiana Augusta Moesa, a w samym pałacu miały znajdować się mieszkania dzierżawcy i biura. W oficynach zainstalowano krosna, a po obu stronach dziedzińca stanęły dwa trzypiętrowe budynki tkalni oraz postawiono farbiarnię i suszarnię. Przed 1874 rokiem Carl August I. Moes, najstarszy syn Christiana Augusta, rozbudował korpus pałacu rozszerzając go o nowe boczne trzyosiowe ryzality, zmieniono dach i elewację, a także zasypano kanały z powodu wilgoci. Kolejnej rozbudowy dokonał w końcu XIX wieku, Carl August II Moes. Dobudowano wówczas od strony wschodniej nową część z werandą. Zmieniono także kształt okien w bocznych ryzalitach i położono nowy dach.