Gotycki dom Kazimierza Wielkiego o wymiarach 11 x 30 metrów usytuowany jest w miejscu obecnego pałacu, który powtarza obrys średniowiecznego dworu z XIV wieku. Zbudowano go z cegły w wiązaniu gotyckim na fundamencie kamiennym, który następnie przykryto niewielkim kopcem ziemnym o wysokości 1,5 m i szerokości u podstawy 5 m. Narożniki opięto skarpami, długimi na 1,8 m i szerokimi na 1,5 m, usytuowanymi do ścian pod kątem prostym. Nie jest wykluczone, że budowa zainicjowana przez Kazimierza Wielkiego nie została ukończonahttps://zabytek.pl/pl/obiekty/g-257438/dokumenty/PL.1.9.ZIPOZ.NID_N_30_EN.124708/5. Obiekt ten przypominał niewielkie realizacje Kazimierza Wielkiego jakie wzniósł m.in. w Przedborzu lub Stopnicy mające charakter królewskich stacji podróżnych.
Miasteczko oraz zamek na przełomie XV/XVI w. było w rękach Ostrorogów, następnie Marczewskich, Trąmpczyńskich, a w XVII wieku Krzysztofa Mycielskiego i Lipskich. Andrzej Lipski, biskup i wielki kanclerz koronny, biskup kujawski, potem krakowski wystawił obok zamku jednonawowy kościół, rozbudowany do trzynawowego pod koniec XVIII w.