Pod koniec lat 50. ich działalność określana była mianem New Thing (Nowa Rzecz). Znany krytyk muzyczny i krytyk nowego jazzu Leonard Feather zaproponował termin cosa nova (nowa sprawa), który kojarzył się z cosa nostra i nabierał negatywnego znaczenia przez skojarzenie z mafią. Jeszcze bardziej negatywnym określeniem był termin zaproponowany przez Stanleya Dance’a – nouvelle gauche, który więcej mówił o jego twórcy, niż o muzyce, którą miał określać. Oba te terminy się nie przyjęłyEkkehard Jost: Free Jazz. s. 8..
Ostatecznie nazwa nowego stylu została utworzona od tytułu płyty Ornette’a Colemana Free Jazz: A Collective Improvisation nagranej 21 grudnia 1960 roku. To właśnie Ornette Coleman uważany jest za twórcę free jazzuTamże, s. 8..
Powstanie free jazzu thumb|Cecil Taylor Chociaż pewne elementy stylistyczne, które mogły prowadzić do free jazzu, można znaleźć w twórczości takich indywidualnych muzyków jak Sidney Bechet, Ben Webster, Lennie Tristano, to trudno ich uważać za prekursorów czy pionierów tego stylu.