Ufundował kaplicę w rodzinnym Zabłudowie i miejscowy "smętarz murem opasał", jak głosi inskrypcja na cmentarzu w tej miejscowościOd czasu do czasu – Zabytkowy cmentarz św. Rocha w Zabłudowie niszczeje!. Pisarz Ferdynand Antoni Ossendowski opisał tę nekropolę w następujący sposób: "Na nowym cmentarzu znajduje się kaplica św. Rocha; w jej jasnem, radosnem wnętrzu, w oknach gotyckich, poza obrazem artystycznej roboty, zwraca uwagę portret fundatora, a był nim mieszczanin zabłudowski, rotmistrz huzarów rosyjskich, Kazimierz Ostaszewski w r. 1850. Druga kapliczka św. Magdaleny stoi na starym zupełnie zarośniętym cmentarzu. Wzniósł ją również ten sam nabożny huzar."F. Antoni Ossendowski, "Puszcze polskie", Poznań 1936, s. 137-138
Służył w pułku grenadierów, następnie w pułku huzarów. Portret przedstawia go w uniformie huzarskim. Na inskrypcjach widnieje jako "major od huzarów".
W Zabłudowie ufundował pomnik dla najstarszej w historii Polki, zmarłej w dniu 13 czerwca 1852 w wieku 113 lat. Jak głosi inskrypcja, wystawił monument „przez wzgląd na pobożną i przykładną 113-letnią na tém padole pielgrzymkę ś.p.