Budynek kolegium powstawał w wielu etapach. Pierwszy etap budowy został przerwany w związku ze śmiercią Barbary z Duninów w roku 1719. Prace wznowiono dopiero w roku 1725 i kontynuowano z przerwami do roku 1745, gdy zbudowano ostatnie skrzydło budynku. Jezuici nowogrodzcy podjęli dalszą rozbudowę, natomiast została ona przerwana ze względu na kasatę. W roku 1731 zbudowana została drewniana szkoła, która posiadała cztery sale wykładoweTamże, s. XL.. W latach 1758–1762 zbudowana została dwupiętrowa oficyna, w której mieściły się izby mieszkalne oraz spichlerze. W roku 1763 zbudowana została również parterowa oficyna. Mieściły się tam stajnie, młyn napędzany wołami, wozownia oraz mieszkania służby.
Okres po kasacie
Zwierzchnictwo nad szkołami po kasacie zostało przekazane KEN. Nowogródek był stolicą województwa, stąd KEN dbał o wysoki poziom nauczania, dlatego kadrę nauczycielską w pierwszych latach po kasacie stanowili byli jezuici. Ostatni rektor Franciszek Suchodolski pozostał na stanowisku przełożonego aż do roku 1781. W roku 1797 szkołę przejął zakon dominikanów. Dla kościoła pw. Niepokalanego Poczęcia Najświętszej Maryi Panny i Św. Stanisława Kostki nie znaleziono odpowiedniej funkcji ze względu na istnienie już kilku kościołów w mieście. Brak funduszy na utrzymanie spowodował popadnięcie w ruinę budowli.