Od 1919 r. przebywał w majątku rodzinnym Łazduny, który, podobnie jak tereny Zachodniej Białorusi, na mocy traktatu pokojowego w Rydze (1921) wchodził w skład międzywojennej Polski. Ostro skrytykował wyniki traktatu pokojowego w Rydze, chociaż zachował wszystkie swoje majątki. Wycofał się z polityki w 1919 r. i nie uczestniczył już w działaniach wileńskich konserwatystów.
W grudniu 1921 roku w Poznaniu zmarła jego żona, Kazimiera, o czym miejscowy urząd stanu cywilnego poinformowało Sanatorium Świętej Elżbiety. W dokumencie odnotowano, że jej ówczesnym miejscem zamieszkania miał być Kazimierz Biskupi. Od listopada 1923 roku, aż do śmierci, Milewski mieszkał w Poznaniu, w budynku o numerze 26/27 przy ulicy Mielżyńskiego.
Twórczość Śmiertelne niebezpieczeństwa rewolucji rosyjskiej, wyd. Klinika Języka, 2017. Co zrobić ze wschodem Europy, wyd. Klinika Języka, 2019. 70 lat wspomnień. Tom I i II, wyd.