Rodzina Janta-Połczyńskich Z Raciąża wywodzi się także rodzina Janta-Połczyńskich, której dwór jest obecnie wykorzystywany jako Dom Pomocy Społecznej Wysoka. Najbardziej znanym przedstawicielem tejże rodziny jest Leon Janta-Połczyński,działacz niepodległościowy i minister rolnictwa, oraz jego żona Maria, która była matką chrzestną żaglowca „Dar Pomorza”. Oprócz dworu Janta-Połczyńskich, w Raciążu znajduje się również mauzoleum, które powstało na przełomie XIX i XX wieku w stylu klasycystycznym.

Grodzisko Raciąż Około 3,5 km na północny zachód od obecnej wsi, na półwyspie w południowej części jeziora Śpierewnik (Przysarcz), znajdują się ślady drewniano-ziemnego grodu obronnego z połowy XIII wiekuGrodzisko Raciąż., będącego dawniej siedzibą kasztelanii. W roku 2012 dokonano jego rekonstrukcjiDariusz Jędrzejewski 15 rowerowych krain na aktywny urlop w Polsce, National Geographic, 2013, ., w ramach której powstały tu drewniane pomosty umożliwiajce dostęp na teren półwyspu (w XIII wieku wyspy), punkt widokowy, brama wjazdowa, fragmenty palisady i obrysy domów.