Uczestniczył w pracach nad wzniesieniem nowego kościoła polskiego w Rydze. Członek ustanowionego w 1889 r. Komitetu budowy kościoła św. Franciszka. Wraz z rodziną ufundował cztery witraże w nowo powstałym kościele. Z fundacji rodziny Niemirowiczów-Szczyttów (Szczyttów) i Szemiotów powstały witraże: św. Emilii, św. Józefa, św. Stanisława biskupa oraz Michała ArchaniołaDüna Zeitung, 1889, nr 104, s. 4.U św. Franciszka na Przedmieściu Łatgalskim, polonika.lv [dostęp 2019-07-26]..
Justynian Niemirowicz-Szczytt wraz z małżonką Józefą z Bohomolców oraz Marią z Niemirowiczów-Szczyttów Szemioth (wdową po byłym marszałku szawelskim Józefie Szemioth z DykteryszekT. Żychliński, Złota Księga Szlachty Polskiej, Rocznik IV, Poznań 1882, s. 369.Pamiętniki Jakóba Gieysztora, tom I, Wilno 1913, s. 308.) ufundował w Kościele Matki Boskiej Bolesnej w Rydze wspaniałą, wysoko sklepioną kaplicę w stylu odrodzenia włoskiego. Kaplicę wzniesiono w latach 1895–1896 na miejscu wyburzonej zrujnowanej kaplicy z 1836 r. (wybudowanej przez Dominikanów ryskich kosztem Baldaszewskiego). W kaplicy znajdowały się trzy bogate ołtarze. Połączona była z kościołem parafialnym wysoką arkadą i pięknie kutą furtą przejrzystą. Kaplica została poświęcona w 1896 r. w dniu Zesłania Ducha ŚwiętegoG.