Natomiast sam zamek został zbudowany na kopcu z ziemi pochodzącej z dawnego fortalicjum Grocholi.
W latach 1961, 1962, 1964 oraz 1968 prowadzono badania archeologiczne na półwyspie Jeziora Wielkiego, w efekcie których odkryto kilka warstw kulturowych, w tym najstarsze grodzisko pierścieniowate z IX-X wieku. Na miejscu odkryto też fragmenty wczesnośredniowiecznej ceramiki, żelaznej biżuterii jak również sporo kości zwierzęcych. Pierwsze grodzisko zostało zniszczone pierwotnie przez budowę fortalicjum Dzierżka z Ostroroga (Grocholi), o którym mowa w Kronice Janka z Czarnkowa, a następnie w XV wieku przez budowę zamku, o którym mowa wyżej.
Zamek został zburzony w XVIII wieku przez ówczesnego właściciela Ostroroga, a z materiałów pozyskanych z rozbiórki postawiono browar. Na miejscu tym powstał również prawdopodobnie niewielki dwór, jak podaje Callier, pod koniec XIX wieku – dwór miał dobre ściany, dach wymagający naprawy. Na wzgórzu stał także trzy murowane sklepy, a przy moście dom z jedną komorą w złym stanie (możliwe, że jest to jeden ze szpitali).
Prawa miejskie W średniowieczu Ostroróg był niewielkim miastem, świadczy o tym liczba czterech piechurów wysłana w 1458 roku na wojnę trzynastoletnią z krzyżakami.