Na kolejnym zjeździe w Piotrkowie, 27 marca 1446 roku, biskup Oleśnicki wysunął kandydaturę elektora brandenburskiego, Fryderyka II Hohenzollerna odrzuconą przez panów koronnych. W opozycji do kandydatury Oleśnickiego zebrani przegłosowali wybór księcia mazowieckiego Bolesława. Po interwencji matki Kazimierza – królowej Zofii, która zaaranżowała zjazd opozycyjnych wobec Oleśnickiego „juniorów” z Małopolski (Jana Pileckiego, Dziersława z Rytwian, Piotra z Kurowa) oraz zjeździe poparcia dla idei „tronu dla Jagiellończyka” przez Wielkopolan w Kole, Oleśnicki ustąpił, jednocześnie ponownie podnosząc kandydaturę Fryderyka Hohenzollerna celem wymuszenia na Kazimierzu inkorporację Wielkiego Księstwa Litewskiego do Korony. Pierwsze lata panowania Kazimierza IV odznaczały się walką z Oleśnickim i jego obozem politycznym. Jako biskup krakowski przeprowadził trzy synody (1436, 1443 i 1446), szczególnie propagując kult św. Stanisława, popierał zakładanie bractw religijnych.
Kardynał W 1449 r. kardynał Zbigniew Oleśnicki wraz ze swym bratem Janem Głowaczem założył klasztor oo. paulinów w Pińczowie. W 1453 roku zaprosił do Krakowa św. Jana Kapistrana, zaś dla jego uczniów (zw. w Polsce bernardynami) ufundował klasztor.