Kariera klubowa Cissé rozpoczął swoją karierę w klubie Nîmes Olympique, jednakże już w wieku 15 lat przeszedł do zespołu AJ Auxerre. W 1999 roku w barwach młodzieżowego zespołu Auxerre zdobył juniorski puchar Coupe Gambardella. W ciągu swoich dwóch pierwszych sezonów w barwach klubu z południa Francji Cissé zaliczył tylko 3 występy w pierwszym zespole i nie zdobył ani jednego gola. Pierwszym sezonem, gdy na stałe przebił się do głównego zespołu były rozgrywki 2000/01. Wtedy to rozegrał 25 spotkań, w trakcie których zdobył 8 bramek. Pierwszym trofeum, które zdobył w dorosłej piłce był Puchar Francji wygrany w maju 2003 roku. Zdobycie krajowego pucharu otworzyło Auxerre drogę do zwycięstwa w Superpucharze Francji, lecz 26 lipca 2003 roku klub Cissé przegrał 1-2 z mistrzem Francji Olympique Lyon. W sezonach 2001/02 i 2003/04 Cissé zdobywał tytuł króla strzelców Ligue 1 i w ciągu wszystkich sezonów w barwach Auxerre rozegrał 128 spotkań ligowych i zdobył 70 goli. Przed sezonem 2004/05 za kwotę 14 milionów £ Francuz trafił do angielskiego Liverpoolu.