W podziemiach kaplicy pod ołtarzem głównym, utworzono mauzoleum Rastawieckich do którego przeniesiono z cmentarza z Dołhobyczowa ciało Teresy Rastawieckiej, a w 1847 roku po śmierci złożono ciało Ludwika barona Rastawieckiego, który zmarł w dworku w Nowosiółkach.
Wiele lat wcześniej przed powstaniem kaplicy Rastawieckich po drugiej stronie zbiornika wodnego znajdowała się świątynia – cerkiew greckokatolicka, wzniesiona z fundacji Starosty Stężyckiego Karola Tarło w XVII wieku pod wezwaniem Wniebowzięcia NMP. Według spisu cerkwi 1930 roku przeprowadzonego w powiecie tomaszowskim wynika, iż świątynie początkowo zbudowano dla ludności rzymskokatolickiej, później przemianowano w cerkiew greckokatolicką, jednak ze spisów parochów dokonywanych na ziemi bełskiej wynika, iż parafia greckokatolicka istniała w Nowosiółkach od XVI wieku i wzniesiona świątynia od początku pełniła funkcję cerkwi.