Kaplica oraz zmieniona funkcja domu wraz z potajemnymi spotkaniami liturgicznymi katolików, chociaż były wiadome władzom publicznym, to jednak były nieoficjalnie tolerowane. Pierwsza kaplica została w 1677, ze względu na wzrost liczby wiernych, zastąpiona drugą, większą kaplicą, która jednak również pozostawała ukryta za zwykłą fasadą miejskiego domu. Również po 1708, gdy zakon jezuitów został zakazany w Holandii, a po 1773 przez papieża Klemensa XIV całkowicie zniesiony, kaplica pozostawała otwarta.
W 1796 katolicy w Holandii otrzymali prawo do praktykowania swojej religii i dzięki temu mogli budować również publicznie dostępne kościoły. W 1835 kaplica została ponownie powiększona, a pierwotny dom De Crytberghem został wyburzony, aby zapewnić miejsce powiększonemu kościołowi oraz domowi parafialnemu, którego część do dziś służy wspólnocie jezuitów. Na szczycie portalu widnieje typowy dla zakonu jezuitów akronim IHS.