Po Zbigniewie Gorajskim w 2. połowie XVII wieku dobra z zamkiem objął Remigian Skarbek Kiełczewski (zm. 1686). W październiku 1704 r. w czasie wojny północnej na zamku przebywał król szwedzki Karol XII.
W XVIII wieku zamek w spadku otrzymali skonfliktowani ze sobą bracia Piotr Kiełczewski i Stanisław Kiełczewski. Ich spory i procesy doprowadziły do zaniedbania i ruiny zamku. Połowa zamku trafiła później w ręce Trzcińskich. Niedługo później połowa zamku posiadana przez Zarankównę, wdowę po Kiełczewskim, spłonęła. W 1780 roku ożeniony z Anną Kiełczewską (siostrą obu braci) sędzia Andrzej Koźmian kupił spaloną połowę zamku i ją wyremontował. Po nim połowę zamku objął Kajetan Koźmian, ale na zamku nie mieszkał, lecz sprzedał swoją zrujnowaną już część właścicielom drugiej. Na po początku XIX wieku zawaliła się wieża nad bramą wjazdową.