Za pałacem rozciąga się ogród francuski z zamykającym go kopcem, z którego dawniej rozpościerał się widok w kierunku rzeki Warty.
W latach 1817–1820 wnuk Kazimierza, Edward Raczyński poszerzył założenie o park krajobrazowy i wzniósł na jego skraju kaplicę pałacową pw. św. Marcelina z mauzoleum Raczyńskich w dolnej kondygnacji. Budynek ten był wzorowany głównie na rzymskiej świątyni Maison Carrée w Nîmes we Francji. W pałacu z kolei przebudował salę balową na neogotycką zbrojownię, mającą sławić dawne dokonania militarne Polaków. W 2. połowie XIX wieku powstała obecna forma dziedzińca, z gazonem i alejami kasztanowymi.
W końcu XIX wieku Edward Aleksander Raczyński i jego żona Róża z Potockich, przeprowadzili remont pałacu, przekształcając dawną barokową salę jadalną na neobarokową bibliotekę projektu Zygmunta Hendla. W 1910 roku powstał budynek galerii, w którym umieszczono dostępną dla publiczności kolekcję malarstwa europejskiego i polskiego przełomu XIX i XX wieku, uznawaną przed II wojną światową za najlepszy zbiór malarstwa współczesnego na ziemiach polskich.
W czasie II wojny światowej w pałacu mieściła się szkoła Hitlerjugend.