Dwór Wincenty Gawroński w połowie XIX wieku wzniósł nowy pałac dla swego syna Wiktora. Pałac został zbudowany na fundamentach starego zamku krzyżackiego, z którego pozostawiono jedynie w środkowej części sklepioną sień o potężnych murach oraz kaplicę w rogu budynku, nad którą dobudowano wieżę. Nad parterową budowlą Wiktor dobudował piętro. Od strony ogrodowej dobudowano werandę. Wszystko to spowodowało, że pałac nie charakteryzował się żadnym stylem. Mimo tego w ciągu stu lat jego użytkowania właściciele majątku zgromadzili w murach pałacu potężną kolekcję dzieł sztuki, oraz imponującą bibliotekę liczącą ponad 8 tysięcy woluminów. Wśród nich rękopisy i starodruki, jak np. akt nadania Pojezior przez króla Kazimierza Jagiellończyka Michałowi Glińskiemu, wiele edycji Biblii, w tym wydanie Wujka. Na ścianach wisiały obrazy, w tym pędzla: Davida Teniersa, Jacoba (?) Ruisadela, Caspara Netschera i innych, portrety członków rodziny autorstwa Jana Chrzciciela Lampiego (starszego). Wisiały również obrazy polskich malarzy, m.in. Józefa Brandta (Powrót Napoleona spod Moskwy), Juliusza Kossaka, Juliana Fałata, kolekcje sztychów Jeremiasza Falcka i Wilhelma Hondiusa. Wielki salon był umeblowany w stylu Ludwika XV z epoki.