W 1515 roku Adam Drzewicki otrzymał konsens królewski na wykupienie starostwa inowłodzkiego od małogoskiego kasztelana Leżeńskiego. Od tego momentu zamek stał się własnością zamożnego polskiego szlacheckiego rodu Drzewickich herbu Ciołek, którego najbardziej znanym przedstawicielem był Maciej Drzewicki.
Wkrótce potem miasto wraz z zamkiem zostało zniszczone przez pożar. Zamek był czterokrotnie przebudowywany na przełomie XIV i XV wieku, w pierwszej ćwierci XVI, drugiej połowie XVI i w połowie XVII wiekuJerzy Augustyniak, Zamek w Inowłodzu, Biblioteka Muzeum Archeologicznego w Łodzi, Łódź 1992, s. 99.. Kolejna zasadnicza rozbudowa zamku przeprowadzona w latach 1521–1526 wiązała się prawdopodobnie z działalnością Adama Drzewieckiego, brata Macieja, który na czas rozbudowy rodowej siedziby w Drzewicy przeniósł do Inowłodza swoją rodzinęJerzy Augustyniak, Zamek w Inowłodzu, Biblioteka Muzeum Archeologicznego w Łodzi, Łódź 1992.. W tym okresie zamek inowłodzki przeszedł największą i zasadniczą przebudowę oraz został umocniony. 240px|thumb|left|Ruiny zamku przed rekonstrukcją Po śmierci Adama oraz biskupa Macieja dobra inowłodzkie odziedziczyli synowie tego pierwszego: sekretarz królewski oraz kustosz łęczycki Maciej Drzewicki (1503–1575) oraz Adam Drzewicki (zm.