Dzieje dworu i własności ziemskiej w okresie od końca XVIII wieku do drugiej wojny światowej ściśle związane są z rodzinami ziemiańskimi Eysymontów i Kunatów. Pierwszym właścicielem Krasnogrudy z rodziny Kunatów, z której wywodziła się matka Czesława Miłosza, Weronika, był Teofil, po nim syn Bronisław Kunat. W okresie międzywojennym ostatnie spadkobierczynie Krasnogrudy, siostry Gabriela Lipska z d. Kunat (1888–1962) i Janina Niementowska z d. Kunat (1898–1977) prowadziły we dworze pensjonat letniskowy. W okresie drugiej wojny światowej majątek przeszedł pod zarząd niemiecki. Po wojnie, w rezultacie dekretu PKWN z 6 września 1944 roku o reformie rolnej, dwór i dobra ziemskie (wówczas o powierzchni 344,5 ha) przestały pełnić rolę własności prywatnej, a właściciele zostali zmuszeni do jego opuszczenia. Nierozparcelowaną część, tj. 154,5 ha, przejęło państwo. Użytkownikiem Krasnogrudy po wojnie był najpierw Aleksander Czyrowski, a następnie Okręgowy Zarząd Lasów Państwowych Nadleśnictwo Pomorze.