Kolegium zostało otwarte w klasztorze pofranciszkańskim, którego restauracja możliwa była dzięki funduszom diecezji warmińskiej. Kolegium mieściło się w części zachodniej, konwikt w części północnej, w części wschodniej mieściła się szkoła. Pełne gimnazjum, otwarte w 1565, początkowo było niewielkie i liczyło pięć standardowych klas (od infimy do retoryki). Warunki lokalowe były trudne, sale niewielkie, szkołę bojkotowali protestanci. Dochodziło też w początkowym okresie istnienia szkoły do sporów między młodzieżą polską a niemiecką.
Na tle innych szkół jezuickich w Polsce kolegium braniewskie wyróżniało się rozszerzonym programem – od 1566 uczono w nim języka niemieckiego, matematyki, śpiewu i dialektyki. Po otwarciu seminarium diecezjalnego, a następnie Seminarium Papieskiego, wprowadzono w 1567 niektóre przedmioty teologiczne, a od 1592 także filozoficzne. Liczba uczniów była niewielka – w XVI i XVII w. wahała się między 130 a 300. Szkoła miała przy tym charakter międzynarodowy.
Kolegium zostało zamknięte po zajęciu Braniewa przez króla szwedzkiego Gustawa Adolfa w 1626. Otworzono je ponownie dopiero w 1637. W 1646 warunki lokalowe szkoły poprawiły się znacznie, gdyż kanonik warmiński Maciej Montanus wybudował nowy, obszerny gmach.