Do 1945 roku Bąkowo było gniazdem rodowym rodziny Hutten-Czapskiech, linii bękowskiej, herbu Leliwa. Za czasów krzyżackich używali nazwy von Hutten (z polskiego czapka). Od 1492 roku właścicielką dóbr była Barbara Schoff, która słynęła z działalności dobroczynnej. w 1509 roku właścicielką pałacu została Elza Jasińska, która sprzedała go swemu synowi Przemysławowi. Od 1597 roku spadkobiercą został szlachcic Sebastian Czapski, w latach 1684-1703 chorąży Aleksander Czapski. Następnie był własnością Józefa i Franciszka Czapskiego, a później jedynej spadkobierczyni Ludwiki Czapskiej, która wyszła za podkomorzego Michała Skórzewskiego herbu Drogosław. W 1780 roku wybudowali oni kaplicę przy pałacu. W 1818 roku w wyniku podziały spadku, posiadłość przypadła Miachałowi Ignacemu Drogosław Skórzewskiemu, który sprzedał je Niemcowi Andrzejowi Goetzendorf-Grabowskiemu herbu Zbiświcz. W 1840 roku odbyła się licytacja majątku, w wyniku której nabył go Gustaw Gehrlich za 40 000 talarów. Później, w 1885 roku odziedziczył go Karl Ernst Gehrlich. Pod koniec XIX w., według systemu pruskiej ordynacji, Bąkowo było obszarem dworskim z przełożonym. Ostatnim właścicielem pałacu był Friedrich Gehrlich. Urodził się 13 stycznia 1886 roku w Bąkowie i ożenił się z Charlotą Bismarck.