XIX wieku.
Według rodzinnej tradycji, przekazanej przez siostrę pasterkę Aleksandrę Narzymską, Stefan Narzymski przy budowie pałacu miał też na względzie cele patriotyczne. Podobno po upadku powstania listopadowego część jego uczestników nadal planowała wzniecenie walki we wszystkich trzech zaborach i w ramach przygotowań do walki zamierzała wybudować szereg punktów, w których można by było organizować magazyny broni oraz miejsca oporu. Zdaniem s. Narzymskiej właśnie dlatego Stefan Narzymski w architekturze pałacu polecił wybudować na wyższych kondygnacjach niewielkie okienka - strzelnice na wzór gotyckich, całą budowlę umiejscowił na wzgórzu, a także rozkazał wykonanie tajnych przejść z najwyższej wieży poprzez piwnice do kościoła Św. Wojciecha. Przejścia takie faktycznie zostały znalezione w zamku, jednak nie figurowały na żadnym z jego oficjalnych planów.