Przed końcem XVI wieku, zgodnie z zawartą wcześniej umową, przeszedł na własność wikariuszy, po czym został zaadaptowany na infirmerię.
W wyniku pożaru miasta z 1617 roku infirmeria została zniszczona, a rok później wikariusze ze wsparciem kanonika Macieja Kunowicza odbudowali ją.
Budynek infirmerii w 1663 roku został zakupiony za 600 złotych przez kanonika Pawła Kuszewskiego, fundatora nowej kanonii św. Karola Boromeusza; miał służyć fundatorowi oraz jego następcom. W roku 1668 tenże przekazał część kamienicy do użytku primiceriusza, zajmującego także izby sąsiedniego domu Mikołajowskiego.
Okres od XVIII wieku mały|lewo|Rzeźba głowy św. Jana Chrzciciela na misie z XIII w., jeden z eksponatów wystawianych w akademioli Na początku XVIII wieku oba obiekty były w złym stanie technicznym, a według stanu z 1753 wymagały niezwłocznej rewitalizacji. Podówczas budynek infirmerii stał się także elementem uposażenia scholasterii i własnością scholastyka.