Maria von Liechtenstein z Krosnowic wyszła za Franza von Waldsteina w 1721 i sprzedała swój majątek dowódcy twierdzy Kłodzko, Karolowi Maksymilianowi Mitrowskiemu von Mitrowizszambelan cesarsko-królewski, starosta hrabstwa kłodzkiego. Król Fryderyk II w 1744 konfiskuje majątek należący do von Schenckendorffa za jego przekonania polityczne i przekazuje go gen. Podczas II wojny śląskiej w 1745 r. dowodził korpusem przeciwko Austriakom pod Bystrzycą Kł., Heinrichowi de la Motte Fouqué (gubernatorowi Kłodzka) i płk. von Puttkamerowi, którzy posiadali majątek do 1748.
Z inicjatywy rodu Magnisów, właścicieli od 1793, dokonano renowacji obiektu, nadając mu elementy klasycystyczne w XIX w. W pobliżu pałacu założono rozległy park, w którym gościła Luiza Pruska w 1800 r.
Rezydencja była jednym z najbardziej znanych i odwiedzanych miejsc na ziemi kłodzkiej, szczególnie dlatego, że leżała na głównej drodze do Lądka-Zdroju. Bywali tu i opisywali ją także Polacy, m.in. Józef Morawski w 1815 r., który podał dokładny koszt budowy żeliwnej kolumny znajdującej się w pobliżu. W 1826 r. przejeżdżał tędy Fryderyk Florian Skarbek, poeta i dramaturg, a w 1837 r.