Gordon zlecił budowę pałacu od nowa, nadając mu neogotycki charakter w angielskim stylu Tudorów.
Pałac położony był w północnej części parku i stał na Wzgórzu Zamkowym, z którego roztaczał się widok na leżące kilkanaście metrów niżej Jezioro Zamkowe. Zniszczony został w 1945 roku przez Polaków i Sowietów, w odwecie za zaangażowanie się jego właścicieli po stronie nazizmu. II wojna światowa odcisnęła dramatyczne piętno na historii rodu Gordonów: trzech synów zginęło. Franz poległ już w pierwszych dniach najazdu Niemiec na ZSRR (Baranowicze, 30 czerwca 1941 r.), Adolf jako lotnik zginął pod Noworosyjskiem (20 kwietnia 1943 r.), Eberhard stracił życie na Śląsku (29 stycznia 1945 r.), a ocaleni z pożogi wojennej córka i syn wyjechali do Niemiec.
Park założono w pierwszej połowie XIX w. na zboczu opadającym w kierunku Jeziora Zamkowego. Zajmuje obszar 9,24 ha. Jest to park krajobrazowy, przy którego kompozycji wykorzystano gatunki rodzime i obce. Na terenie parku w 1992 roku powołano na pomniki przyrody wiele drzewRozporządzenie nr 18/92 Wojewody Bydgoskiego z dnia 8 czerwca 1992 roku, w tym m.in.: