Nie są znane ani data wzniesienia, ani pierwotna forma tutejszej świątyni. Najwcześniejsza informacja potwierdzająca jej istnienie pochodzi z 1685 r. Odnotowuje ona niewielką kaplicę w dobrym stanie, zarazem podając, że jej wznoszenie rozpoczęto wiele lat wcześniej, by je następnie zaniedbać.
W 1773 r. wraz z kasatą zakonu Jezuitów, ich majątki, również te należące do konwentu pińskiego, przejęła Komisja Edukacji Narodowej. Dobra funduszowe, w tym Duboja, znalazły się w posesji marszałka pow. pińskiego Józefa Kurzenieckiego h. Bogoria (zm. 1781). Wkrótce przejął je po ojcu i wykupił Ignacy Kurzeniecki, podstarości piński, kasztelan witebski, który zamienił Duboję w wielkopańską siedzibę. Odziedziczony po jezuitach dwór zaadaptował na okazały pałac wedle nowej klasycystycznej mody, przekształcił park, a istniejąca tu barokowa kaplica stała się prywatną kaplicą dworską. W inwentarzu z 1774 r. kaplica została opisana jako murowana, kryta gontem, posadowiona na ceglanej krypcie, do której prowadziło wejście z kruchty. W kaplicy znajdowały się dwa ołtarze, ŚŚ. Ignacego i Andrzeja Apostoła oraz skromne wyposażenie, niezbędne dla posługi liturgicznej.