Podczas potopu najprawdopodobniej przebywał razem z królem na Śląsku. Przełomem w karierze Olszowskiego okazał się rok 1658, kiedy to z inicjatywy królowej został on wysłany jako poseł na elekcję cesarza do Frankfurtu nad Menem, gdzie złożył skargę na postępowanie austriackich wojsk sojuszniczych przebywających w Polsce. Jesienią 1659 został wysłany także do Wiednia, gdzie prowadził rozmowy na temat wycofania wojsk austriackich z Rzeczypospolitej. Poselstwa te niezależnie od swoich skromnych rezultatów jakie przyniosły, zademonstrowały profrancuskie stanowisko polskiego dworu i ukazały dyplomatyczne talenty Olszowskiego.
Za wierność dworowi został Olszowski nagrodzony już z początkiem 1660, kiedy otrzymał urząd referendarza koronnego. Prawdopodobnie wszedł wówczas do ścisłego grona współpracowników królowej Ludwiki Marii, zmierzającej do przeprowadzenia reform ustrojowych. Zaledwie niecały rok później 23 lutego 1661, król mianował go biskupem chełmińskim. Nominacja została zatwierdzona przez papieża 8 sierpnia tego roku, zaś 2 lutego 1662 Olszowski objął rządy w diecezji. Sakrę biskupią otrzymał z rąk biskupa krakowskiego Andrzeja Trzebickiego w kolegiacie warszawskiej. Jako biskup chełmiński zajął się odbudową diecezji zniszczonej w latach potopu i ożywieniem życia religijnego.