Przyjmuje się jednak, że zamek mógł funkcjonować do lat 30.–40. XV wieku i służyć urzędnikom województwa gniewkowsko-inowrocławskiego, a później może również przez jakiś czas tenutariuszom niegrodowego starostwa. Zapewne właśnie zamek w Gniewkowie był celem najazdu w 1418 roku dokonanego przez starostę inowrocławskiego Jaranda z Brudzewa. Warownia w Gniewkowie uległa zniszczeniu najpóźniej na przełomie XVI i XVII wieku, gdyż w roku 1629 wzmiankowane jest już tylko stanowiące jej relikty wzgórze zwane Grodziskiem.
W tym samym czasie w starostwie istniał zespół drewnianych zabudowań dworskich, w którego skład wchodził parterowy dwór, dom dla czeladzi, kuchnia i stajnia. Wznosiły się one w sąsiedztwie miasta, w innym miejscu niż średniowieczne castrum, a walory obronne założenia były już minimalne i sprowadzały się do tego, iż był ...cały ten dwór oparkaniony wkoło... Stan taki występuje już w 1567 roku, gdy: około wszystkiego dworu jest dylowanie, na którem nie masz pobicia...