W 1813 roku, w czasie wojen napoleońskich, budynek funkcjonował jako lazaret dla jeńców francuskich. Później mieszkał tu landrat, ówczesny starosta kamieński. Od 1840 do 1907 roku budynek służył seminarium, a w latach 1807-1945 był siedzibą urzędu i mieszkaniem burmistrza Hansa Hoffmana. W 1898 roku dworek został zakupiony przez skarb państwa, reprezentowany przez landrata Massowa. Do 1945 roku dworek był rezydencją burmistrzów Kamienia Pomorskiego.
Po II wojnie światowej budynek pełnił różne funkcje: mieściła się tutaj Komisja Likwidacyjna, Państwowy Urząd Repatriacyjny oraz zakład budowlany, a następnie były to mieszkania komunalne. Pod koniec lat 90. XX wieku miasto przekazało dworek parafii św. Ottona. W 1998 roku rozpoczęto remont dworku, który z powodu braku środków finansowych przez wiele lat zostawał nieukończony.
Dworek przeszedł gruntowną modernizację w roku 2021. Celem było przekształcenie obiektu w muzeum poświęcone von Kleistowi. Prace modernizacyjne były wspierane finansowo przez Regionalny Program Operacyjny Województwa Zachodniopomorskiego. Całkowita kwota dofinansowania wyniosła ponad 2 miliony złotych.