W 1664 r. lustrator królewski opisując folwark Lipia Góra wymienia w nim dwór. W folwarku była stodoła, gorzelnia, karczma i młyn. Karczma i młyn były jednak spustoszone i nie zasiedlone. W 1682 r. we wsi było już dwóch ogrodników, działał młyn z 2 małymi kołami i funkcjonowała karczma.
Ostatni polski starosta utracił majątek na rzecz państwa pruskiego. W 1772 r. wieś znalazła się w administracyjnej zależności od powiatu ziemskiego i jednocześnie obwodu regencyjnego w Kwidzynie. Dwa lata później, w 1774 r., folwark miał powierzchnię 50 włók, czyli ok. 840 ha.
W XIX wieku rozebrano stary dwór stojący nad rzeką Janką, a na jego kamiennych fundamentach wzniesiono nowy murowany, zakładając park, który częściowo przetrwał do dziś. W 1880 r. Karol Schöler sprzedał folwark właścicielowi ziemskiego z Pomorza o nazwisku Neumann. Następny właściciel niedługo po zakupie sprzedał go sąsiadowi von Marwitz. Po jego śmierci, wdowa sprzedała majątek Paulowi Frostowi, który gospodarował na folwarku w dzisiejszym Majewie.
W 2 poł. XIX w. powstał cmentarz ewangelicki, oddalony od centrum wsi ok. 1,25 km w kierunku południowo-wschodnim.