W 1640 i 1775 roku budynki szkoły zostały zniszczone w czasie pożarów. Pożar z 1775 roku spowodował konieczność całkowitej przebudowy kolegium. Pod kierownictwem architekta z Lyonu, Louisa Dubosta, w 1784 roku ukończono nowy kompleks szkolny. Kosztował 60 000 funtów, ogromną jak na ówczesne czasy sumę.
Kolegium oratoriańskie zostało zamknięte podczas rewolucji francuskiej. W 1793 roku budynki zajęła administracja powiatowa. W 1795 roku do 31 grudnia 1855 siedziba prefektury Loary (pierwszy prefekt Imbert). Od 1 stycznia 1856 roku siedziba podprefektury Montbrison.
W związku z przejęciem budynków przez administrację państwową, nastąpiła przebudowa budynków. Kościół podzielono na dwa piętra. Górna część została przeznaczona na salę tzw. „soboru generalnego”, a do wejścia do niej dobudowano klatkę schodową w kształcie podkowy. Powstają salony. Dziedziniec zamknięto bramami. Fasadom od strony ulicy dodano frontony. Od zachodniej strony prefektury, wyburzono zabudowania by uzyskać place pod ogrody. W latach 40 XIX wieku malarz Giovanni Zaccheo ozdobił hol i główną klatkę schodową.