Przyczynił się do odbudowy kilku świątyń, rewindykował z rąk protestantów kościół św. Jakuba w Toruniu (1667) przekazując go benedyktynkom, popierał misje prowadzone przez jezuitów, w Toruniu wznowił procesje Bożego Ciała, 17 kwietnia 1665 erygował w kapitule prebendę kanonika penitencjarza. W latach 1667–1672 z jego polecenia kanonik Jan Ludwik Strzesz przeprowadził bardzo dokładną wizytację diecezji.
W 1667 roku był członkiem Trybunału Skarbowego KoronnegoVolumina Legum, t. IV, Petersburg 1860, s. 432.. W senacie Olszowski niespodziewanie dla wszystkich nie poparł planów reform dworu królewskiego przedstawionych na sejmach w 1661 i 1662. W 1664 na sejmie jesiennym natomiast, bronił oskarżonego o zdradę marszałka Jerzego Lubomirskiego. Podczas walk rokoszowych nie odegrał ważniejszej roli usuwając się w cień, a następnie wyjeżdżając na kurację do Schwarzbach k. Moguncji. Rezygnacja króla z planów reform umożliwiła mu dalszą karierę. Po powrocie do kraju bowiem z końcem 1666, uzyskał pieczęć podkanclerską.