1569), który pełnił funkcję starosty inowłodzkiego od 1561 roku.
W połowie XVII wieku właścicielem została rodzina Lipskich herbu Łada. Od 1648 roku starostą inowłodzkim był dworzanin królewski Jan Olbracht Lipski z Lipia, który rozpoczął kolejną przebudowę przerwaną przez wojnę ze Szwecją. W Inowłodzu 9 września 1655 roku miała miejsce potyczka wojsk Rzeczypospolitej z wojskiem szwedzkimA. Kersten, Czarniecki 1599–1665, Warszawa 1983, s. 221–222.. W roku 1655 w rejonie Inowłodza oraz Piotrkowa wybuchło powstanie przeciwko Szwedom. W okresie tym znanym jako potop szwedzki zamek kilkakrotnie zmieniał właścicieli. W wyniku działań wojennych w latach 1655–1657 uległ zniszczeniu i przestał pełnić funkcje obronne, stopniowo popadając w ruinę.
Konstrukcja zamku 240px|thumb| Zamek wybudowano w stylu gotyckim, na planie prostokąta, z dwiema narożnymi ośmiobocznymi wieżami średnicy ok. 10 metrów. Otoczony był murem kamiennym grubości 2,4 metra oraz fosą zasilaną wodą z rzeki Pilicy, przez którą przerzucony był drewniany most. Pierwotnie ogólna powierzchnia zamku wynosiła 1500 m², a po pierwszej przebudowie wzrosła do 1690 m², co stawia go w szeregu zamków średniej wielkościJerzy Augustyniak, Zamek w Inowłodzu, Biblioteka Muzeum Archeologicznego w Łodzi, Łódź 1992, s. 99–101..