Podziały wśród kardynałów Kardynałowie dzielili się na dwie frakcje, skupione wokół przedstawicieli dwóch skonfliktowanych ze sobą rodów rzymskich, Giovanniego Gaetano Orsiniego i Riccardo Annibaldiego. Frakcję Giovanniego Orsiniego tworzyli kardynałowie Odon de Châteauroux, Raoul Grosparmi, Enrico Segusio, Ancher Pantaleon, Guillaume de Bray, Guy de Bourgogne, Giacomo Savelli i Matteo Orsini. Przeciwni mu byli Riccardo i Annibale Annibaldi, Goffredo da Alatri, Uberto Coconati, István Báncsa, Ottaviano Ubaldini, Jan z Toledo i Ottobono Fieschi.
Przebieg elekcji. Wybór Klemensa IV 18 kardynałów zebrało się w Perugii 12 października 1264, jednak długo nie mogli osiągnąć porozumienia. Zażarte spory między nimi trwały przez prawie cztery miesiące bez żadnego rezultatu. Wiadomo, że rozważano także kandydatury spoza Świętego Kolegium, np. arcybiskupa Rawenny Filippo Fontany. Przedłużający się impas skłonił władze Perugii do przedsięwzięcia kroków w celu zmuszenia elektorów do podjęcia decyzji. Jak wynika z listu kardynała Fieschi do nieobecnego kardynała Paltineriego ze stycznia 1265, kardynałowie zostali przymusowo zamknięci w budynku obrad. Środki te poskutkowały. W dniu 5 lutego 1265 podjęto decyzję o dokonaniu wyboru w procedurze compromissum, tj. przez wydelegowaną w tym celu komisję, a nie całe Święte Kolegium.