Zamek barokowy W XVII wieku majątek zakupił wojewoda Stanisław Przyjemski, który rozbudował zamek, nadając mu cechy barokowe. Przyjemski w 1623 gościł na zamku króla Zygmunta III Wazę i jego syna Władysława, a w roku 1627 przyjmował w Koźminie poselstwo szwedzkie. W 1703 r. poprzez małżeństwo z Ludwika Opalińską właścicielem Koźmina został Jan Sapieha. W 1730 roku po śmierci Jana Koźmin przejął jego najstarszy syn Piotr, a po nim jego była żona Katarzyna Agnieszka, która sprzedała rezydencję swemu krewnemu Kazimierzowi Nestorowi Sapiesze. W XVIII w. przy południowym skrzydle dobudowano wolnostojący piętrowy budynek. W 1791 klucz koźmiński kupił feldmarszałek kawalerii pruskiej Fryderyk Adolf Kalkreuth. Jego żona Charlotta nakazała rozebrać średniowieczne skrzydło zachodnie i ogłosiła bankructwo.

XIX wiek Po bankructwie, majątek przejął zarząd komisaryczny, który wystawił zamek na licytację, na której w 1841 roku kupił go Karol Zygmunt Graetz. Kolegium Szkolne z Poznania w roku 1855 po negocjacjach odkupiło zamek wraz z parkiem za kwotę 9 tys. talarów.