Wtedy również biskup krakowski przyznał kolonii akademickiej na czas nieokreślony prawo do domu Mikołajowskiego, co było przyczynkiem do zawiązania się konfliktu o przynależność budynku między kolonią akademicką a kapitułą tarnowską.

W 1766 roku rektor kolonii akademickiej Stanisław Wątorski stwierdził w swoim sprawozdaniu, iż budynek był w kiepskim stanie; wiadomo, że naprawy wymagał wówczas dach, który nakryty był wiekowymi dachówkami pochodzącymi z dachu kolegiaty (ob. katedry). W 1773 roku kapituła tarnowska nieskutecznie domagała się od biskupa krakowskiego przydzielenia jej domu Mikołajowskiego w celu zaadaptowania jej na kwaterę dla kanoników. W okresie lat 60. i 70. XVIII wieku część budynku zamieszkana była przez rektora kolonii, zajmującego jedno niewielkie pomieszczenie, oraz uczniów szkoły. Jednocześnie pozostały fragment domu nie był użytkowany i niszczał.

Po zajęciu Tarnowa przez Austrię w wyniku I rozbioru Polski, kolonia akademicka została najpierw w 1780 roku przejęta pod dozór kapituły, a następnie w 1784 roku zlikwidowana (według innych źródeł zlikwidowano ją w 1792 roku). W jej miejscu powołano następnie austriackie gimnazjum.