Po założeniu dzięki fundacji Wojciecha Kaszewicza małej akademii (kolonii akademickiej), zwanej Akademiolą, obie kamienice zostały przekazane w jej posiadanie. Pomiędzy latami 1753 i 1756 zorganizowano w nich prace adaptacyjne i remontowe, na które przeznaczone zostało 1000 złotych. W ramach podjętych wówczas działań przypuszczalnie połączono wnętrza obu budynków, pozostawiając dla nich jedno wspólne wejście. Przeprowadzone prace prawdopodobnie nie objęły jednak wszystkich elementów połączonych kamienic, gdyż w roku 1766 prac naprawczych wymagał dach.
Po adaptacji na cele szkolne pomieszczenia dawnej infirmerii przeznaczone były na mieszkania dla profesorów, natomiast w dawnym budynku szkolnym umiejscowiono klasy do nauki retoryki i poetyki (na piętrze), a także jedną dużą ogólną salę do nauki (na parterze).
W wyniku I rozbioru Polski Tarnów został zajęty przez Austrię. Zgodnie z wolą Austriaków kolonia akademicka została początkowo przejęta pod dozór kapituły, a następnie w 1784 zlikwidowana, po czym w jej miejscu utworzono państwowe austriackie gimnazjum.