Był członkiem konfederacji generalnej zawiązanej 15 stycznia 1674 roku na sejmie konwokacyjnymVolumina Legum, t. V, Petersburg 1860, s. 129.. Elektor Jana III Sobieskiego z województwa chełmińskiego w 1674 rokuVolumina Legum, t. V, Petersburg 1860, s. 161., podpisał jego pacta conventaPorządek Na Seymie Walnym Elekcyey Między Warszawą a Wolą, przez opisane Artykuły do samego tylko Aktu Elekcyey należące, uchwalony y postanowiony, Roku Pańskiego Tysiąc Szesc Set Siedmdziesiat Czwartego, dnia Dwudziestego Miesiaca Kwietnia., s. 28..
W swoim testamencie swój majątek (80 tys. złotych) przekazał na budowę świątyni katolickiej w protestanckim Gdańsku. Za te pieniądze została zbudowana kaplica Królewska. Został pochowany w archikatedrze gnieźnieńskiej w kaplicy Olszowskiego (św. Andrzeja), w której znajduje się jego nagrobek przedstawiający figurę klęczącego prymasa. Ufundował go w 1678 biskup Andrzej Załuski, siostrzeniec Olszowskiego, a wykonał w latach 1677–1678 gdański rzeźbiarz Hans Michael Gockheller.