Pracami budowlanymi kierował podstarosta ślemieński Antoni Majeranowski, a sam budynek zapewne pełnił funkcję letniej rezydencji Wielopolskich.
30 października 1726 roku rezydencja została obrabowana przez grupę bandytów.
W 1885 roku budynek pałacowy został obniżony o jedną kondygnację i utworzono w nim sąd obwodowy, który działał w tym miejscu do 1 stycznia 1906 roku.
W późniejszym czasie budynek zaczął szybko niszczeć, a po przejęciu majątku ślemieńskiego przez Juliusza Tarnowskiego zostało zlecone jego rozebranie.
Pozostałe zabudowania dworskie wyburzono po zakończeniu II wojny światowej. W latach pięćdziesiątych XX wieku w miejscu północno-zachodniej wieży dawnej warowni wybudowano nową siedzibę gminy Ślemień.
Pozostałościami rezydencji były obszerne piwnice z kamienia, założone na rzucie czworobocznym i sklepione kolebkowo, ślady fundamentów zlokalizowane na północny wschód od piwnic. Całe założenie zostało także uwiecznione na mapie katastralnej Ślemienia z 1844 roku.