Podczas II wojny światowej Niemcy urządzili tutaj magazyn przejściowy dla zwożonych z całego Śląska dzieł sztuki. Np. zbiory i archiwalia z Wrocławia rozlokowano w pałacu, w ujeżdżalni, oraz w pobliskim kościele i zabudowaniach parafialnych. Składnica działała od czerwca 1942 do końca 1944 roku. Część zbiorów ewakuowano już w 1944 (m.in. do Lądka-Zdroju, Dusznik, Rzucewa). Wojska radzieckie wkroczyły do Kamieńca 8–9 maja 1945 r. i sprawowały kontrolę nad pałacem oraz składnicą do 9 lutego 1946 r.. Polska komisja z Ministerstwa Kultury i Sztuki przejęła pozostałości zbioru z pałacu 17 lutego 1946, wywóz trwał w okresie 23–27 lutego 1946. Po 1945 wyposażenie pałacu zostało wywiezione bądź zdewastowane, w lutym 1946 cały kompleks spłonął, podpalony przez żołnierzy radzieckich. W wyniku pożaru uszkodzeniu uległy stropy najwyższych kondygnacji, pokrycie wież narożnych, dachy na całej długości budynków. Na drugim piętrze zalane wodą zostały sklepienia gwiaździste pokryte freskami. Z upływem czasu część tych sklepień runęła. Na trzecim piętrze zostały zniszczone sufity, stolarka oraz podłoga. Części marmurów z pałacu użyto przy budowie Sali Kongresowej w warszawskim Pałacu Kultury i Nauki.