Po zakupieniu Małej Wsi, tu właśnie – przed rokiem 1775 – Walicki zlokalizował centrum swojego majątku, zamieszkując w dość obszernym, drewnianym dworze alkierzowym Zbierzchowskich, istniejącym w tym miejscu od XVI wieku.
Fundacja pałacu Siedzibę rodzinną przeniósł niebawem do wybudowanego w latach 1783–1786 pięknego, klasycystycznego pałacu, zaprojektowanego przez znanego ówczesnego architekta Hilarego Szpilowskiego. Wprowadzono się do niego w dniu 3 czerwca 1786 roku, o czym świadczy do dziś zachowana drewniana tabliczka z wyrytym tam napisem: „Anno Dni 1786. D. 3 Junij. Wprowadzenie do pałacu”, zakotwiczona w przydrzwiowej wnęce za szkłem. Początkowo budowla ta połączona była galeriami z czterema okazałymi pawilonami bocznymi. W początkach wieku XIX kolejny znany architekt Fryderyk Lessel dokonał przebudowy, oddzielając pawilony od trzonu głównego, czyniąc tym samym o wiele bardziej delikatny układ przestrzenny.
Pałac odwiedził w dniach 20–22 lipca 1787 roku król Stanisław August Poniatowski, który wracał ze spotkania z Katarzyną Wielką. Serdecznie chwalił i podziwiał dwór postawiony przez swojego przyjaciela. Sto lat później w małowiejskim parku został postawiony kamień upamiętniający tę wizytę.