W 1904 roku wieś zamieszkiwało 385 katolików. Istniała również dwuklasowa szkoła. Według zapisu z "Gemeindelexicon für das Königreich Preussen", na dzień 1 grudnia 1905 r., wieś obejmowała obszar 1098,4 ha i miała 45 budynków, w których było 68 gospodarstw domowych liczących >2 osób oraz 2 gospodarstwo po 1 osobie. Z 371 osób mieszkających w Lipiej Górze, 179 było płci męskiej. Wieś była w przeważającej mierze katolicka, gdyż mieszkało w niej tylko: 28 ewangelików, w tym 27 Niemców i 1 osoba mówiąca w innym języku.

Po odzyskaniu przez Polskę niepodległości Lipia Góra należała do nowo utworzonego powiatu gniewskiego.

Około 1936-37 r. folwark Barnbecka, zgodnie z decyzją ówczesnego ministra rolnictwa Juliusza Poniatowskiego został częściowo rozparcelowany. Po opanowaniu przez hitlerowców nazwę wsi Lindenberg zamieniono na Lindensee. Lipia Góra została wyzwolona spod okupacji niemieckiej 21 lutego 1945 r.

W 1952 r. wieś otrzymała linię energetyczną. W początkach lat 60. powstało we wsi kolo Związku Młodzieży Wiejskiej. W 1967 r. powstało Koło Gospodyń Wiejskich.

W 1972 r. podczas kolejnej zmiany systemu administracyjnego, wieś weszła w skład gminy Morzeszczyn. 27 lutego 1874 r. oddano do użytku remizę strażacką, wybudowaną w czynie społecznym.