Anny.

Biskup Karol Ferdynand w latach 1669-1681 ufundował obecny, okazały gmach z przeznaczeniem dla nowo utworzonego kolegium jezuickiego, stanowiącego kontynuację seminarium św. Anny. Budynek został wzniesiony przy kościele Wniebowzięcia Najświętszej Maryi Panny przez Wacława Schullera z Ołomuńca. Wewnątrz mieściły się sale lekcyjne, pomieszczenia mieszkalne dla zakonników i uczniów, biblioteka, refektarz oraz apteka prowadzona przez zakonników.

Obok kolegium w latach 1722-1725 powstało przy wsparciu biskupa Ludwika von Neuburga gimnazjum jezuickie. Jego projekt przypisuje się architektowi Christophowi Tauschowi, a wykonanie – Michałowi Kleinowi. W 1725 r. powstała bogato zdobiona brama, łącząca oba budynki.

Po przyłączeniu Śląska do Prus w roku 1742 kolegium podupadło. W 1773 roku, mimo kasaty zakonu przez papieża Klemensa XIV, król Fryderyk II pozwolił jezuitom pozostać w swej nyskiej siedzibie. Dopiero w wyniku pruskiej sekularyzacji z 1810 roku zakonnicy opuścili kolegium, a budynek został zmodernizowany i utworzono w nim królewskie gimnazjum katolickie. W roku 1848 jego dyrektorem po raz pierwszy została osoba świecka. Szkoła w 1924 roku otrzymała nazwę Carolinum na cześć założyciela seminarium św.