Za czasów Eugeniusza Fryderyka Wirtemberskiego w Pokoju założono bibliotekę oraz teatr, a na jego dworze przebywał kilka miesięcy kompozytor Carl Maria von Weber, którego kilka dzieł powstało w tamże (m.in. dwie symfonie czy koncert na waltornię oraz Wariacje fortepianowe op. 7). Rezydencja stanowiła także miejsce spotkań literatów za czasów . W XIX wieku zwierzyniec przeniesiono za zachód od pierwotnego założenia.
Cesarz Wilhelm II Hohenzollern odwiedził rezydencję w 1899 roku. Po śmierci księcia Mikołaja Wirtemberskiego, ostatniego arystokraty linii książąt wirtembersko-oleśnickich w 1903 roku majątek przejęli królowie wirtemberscy, w których rękach pozostawał on do 1945 roku. Car Bułgarii Borys III przyjechał do Pokoju w 1929 roku, aby odwiedzić swoją siostrę; w prasie pojawił się błąd jakoby miał pojechać do niemieckiego Karlsruhe z racji podobieństwa nazw.
22 stycznia 1945 roku do miejscowości weszły wojska Armii Czerwonej. Pałac został splądrowany przez żołnierzy, doszło do pożaru rezydencji i oficyn oraz zniszczenia bram;