Un token (ou jeton) est, dans le domaine de l'intelligence artificielle et du traitement automatique du langage naturel (TALN), la plus petite unité textuelle et conceptuelle indivisible isolée par un « algorithme de segmentation » (ou tokenizer) afin de transformer un texte brut (ou une image, ou un enregistrement ou une création sonore, ou d'autres éléments complexes) en données numériques simples, exploitables par un modèle de calcul..
Dans l'architecture des grands modèles de langage (LLM) de l'IA, un jeton ne correspond pas toujours à un mot unique ou entier : il peut s'agir d'un mot entier, d'un caractère isolé ou d'un fragment de mot (sous-mot) ou d'un signe de ponctuation. Chaque jeton est associé à un identifiant numérique unique au sein d'un « dictionnaire » prédéfini ; il permet aux réseaux de neurones d'effectuer des opérations mathématiques sur le langage.
Le token tend aussi à devenir une unité de mesure.
Historique et origines du concept
Origine philosophique et linguistique Le terme trouve sa source conceptuelle dans la philosophie analytique et la sémiotique du .
Le philosophe américain Charles Sanders Peirce introduit en 1906 la distinction fondamentale entre type (le modèle abstrait ou la catégorie) et token (l'occurrence concrète et matérielle d'un signe). En linguistique quantitative, cette distinction permet de différencier le nombre de mots d'un texte (les jetons) du nombre de mots uniques qui le composent (les types).
Les débuts de la « segmentation » en informatique (1950–1990) Avec l'émergence de la traduction automatique et de la recherche informatique dans les années 1950, les pionniers de l'informatique linguistique, tels que Yehoshua Bar-Hillel ou Peter Luhn chez IBM, sont confrontés à la nécessité de découper les chaînes de caractères pour les indexer.
À cette époque, la tokenisation se confond strictement avec la reconnaissance des mots délimités par des espaces ou de la ponctuation, une approche héritée de la conception des compilateurs informatiques qui séparent les mots-clés du code source via un algorithme de segmentation (ou tokenizer) qui est un programme informatique déterministe qui découpe une chaîne de texte brut en une séquence d'unités élémentaires (mots, caractères ou sous-mots appelés tokens) et leur associe un identifiant numérique unique afin de rendre le langage traitable par un modèle de calcul.
Cette méthode rudimentaire montre rapidement ses limites face aux langues agglutinantes (comme le finnois) ou sans espaces morphologiques évidents (comme le japonais ou le chinois).
Le tournant des « sous-mots » et de l'apprentissage profond (2010–2015) Jusqu'au début des années 2010, les modèles de traitement automatique du langage naturel et les logiciels de traduction automatique reposaient sur des dictionnaires de mots entiers. Les modèles de traduction basés sur des réseaux de neurones opéraient d'abord avec un vocabulaire fixe, ce qui les limitait en qualité de traduction, car traduire est un « problème à vocabulaire ouvert ». Pour s’affranchir de la limite des mots absents du lexique, une approche classique consistait à recourir à un dictionnaire de secours.
Rico Sennrich et son équipe ont en 2016 proposé une méthode à la fois plus simple et plus efficace : représenter les mots rares ou inconnus comme des séquences d'unités sous-lexicales (car de nombreuses catégories lexicales — noms propres, composés, cognats ou emprunts — peuvent être traduites à partir d'éléments plus petits que le mot, via la copie de caractères, la translittération, la composition ou des transformations morpho‑phonologiques)..
Ces auteurs ont imaginé et évalué plusieurs techniques de segmentation, notamment les modèles de caractères en N-grammes et une segmentation fondée sur l'algorithme de compression Byte pair encoding (leurs résultats empiriques montraient que ces modèles sous‑lexicaux surpassaient la méthode de dictionnaire de secours dans les tâches WMT 2015 pour les paires anglais→allemand et anglais→russe, avec des gains significatifs).
L'avènement des réseaux de neurones récurrents (RNN) et plus récemment de l'architecture Transformer a créé un goulet d'étranglement : les modèles ne peuvent pas gérer avec rapidité des dictionnaires de plusieurs millions de mots dans différentes langues sans exploser en complexité computationnelle, tout en restant capables de traiter les fautes d'orthographe, exceptions grammaticales, néologismes, contextualisation des mots
En 2016, une rupture technologique et historique majeure est apportée par l'équipe du chercheur Rico Sennrich (Université de Zurich), qui a adapté. l'algorithme de compression Byte pair encoding (BPE) — créé initialement par Philip Gage en 1994 pour optimiser le stockage de données — au domaine du TALN. En proposant de fragmenter le texte non plus en mots, mais en « sous-unités morphologiques », Sennrich résout le problème des mots inconnus (out-of-vocabulary). Cette innovation technique est adoptée par Google pour son modèle BERT (via une variante nommée WordPiece) puis par OpenAI pour la conception de la série GPT, fixant ainsi la définition moderne et consensuelle du jeton en intelligence artificielle.
Définition et concept Pour Webster et Kit (1992), dans l'informatique linguistique, un token est un « nœud terminal » (terminal node), qui, du point de vue des traitements ultérieurs, ne sera pas découpé en unités plus petites. La segmentation s'effectuait autrefois principalement par mot ou par caractère.
Les modèles d'apprentissage profond contemporains emploient une approche intermédiaire dite à « sous-mots » (subword tokens). Cette méthode segmente les termes fréquents (ou des entités graphiques telles que des groupes de pixels ou des entités sonores) en blocs ( ) et les décomposent en termes plus rares, les flexions grammaticales ou les néologismes en unités plus petites ( et ).
En informatique linguistique, les textes étaient autrefois segmentés soit en mots entiers, soit en caractères isolés.
Les modèles d'apprentissage profond contemporains utilisent dorénavant une méthode intermédiaire dite de « segmentation en sous‑mots ». Cette technique consiste à conserver entiers les mots fréquents, tandis que les mots rares, les formes grammaticales peu courantes ou les mots nouveaux sont découpés en unités plus petites. Ainsi, un terme courant comme « ordinateur » peut rester intact, alors qu'un mot long ou peu utilisé, comme « anticonstitutionnellement », sera séparé en segments plus simples.
Ce paradigme consensuel répond à une double contrainte : Éviter le problème des mots inconnus lors de la phase d'inférence, et traiter efficacement tous les mots possible ; ... Tout en maintenant la taille du dictionnaire du modèle dans des limites de calcul raisonnables (généralement entre et jetons).
On estime que pour la langue anglaise, un jeton équivaut à environ quatre caractères ou 0,75 mot ; c'est la règle donnée par OpenAI pour la langue anglaise. : 1 token ≈ 4 caractères ; 1 token ≈ ¾ de mot (≈ 0,75 mot) ; 100 jetons ≈ 75 mots ; autrement dit un texte d'environ 750 000 mots sera tokénisé en environ 1 million de tokens.
Principes techniques et fonctionnement
La tokenisation La conversion d'un texte en jetons (ou tokens) s'effectue en amont du modèle par un programme autonome (algorithme) appelé segmenteur (ou tokenizer). Ce processus est déterministe et s'appuie sur un dictionnaire fixe construit lors de la phase d'entraînement initial du modèle. Le segmenteur applique des règles statistiques strictes pour scinder la chaîne de caractères.
Des sous-mots aux vecteurs mathématiques Les algorithmes d'apprentissage automatique ne pouvant traiter directement les chaînes de caractères, le processus se déroule en deux étapes : Le texte brut est découpé en jetons ou tokens, puis chaque jeton est converti en un « index » entier (son identifiant numérique dans le dictionnaire) ; Cet index est ensuite converti en un vecteur de nombres réels à haute dimension (c'est à dire une liste très longue de nombres (souvent des centaines ou des milliers) utilisée pour représenter un objet complexe — comme un mot, une image ou un son — sous une forme que l'IA peut manipuler mathématiquement) ; cette conversion est faite par une couche de plongement lexical (embedding) ; ce vecteur capture les propriétés sémantiques et syntaxiques du jeton en fonction de ses cooccurrences dans le corpus d'entraînement de l'IA.
Typologie des algorithmes de tokenisation Divers algorithmes statistiques permettent de générer le dictionnaire de jetons : Byte pair encoding (BPE) : cet algorithme commence par traiter chaque caractère comme un jeton, puis fusionne itérativement les paires de jetons les plus fréquentes dans le corpus d'entraînement. Il est utilisé par les modèles de la famille GPT d'OpenAI et LLaMA de Meta ; WordPiece : similaire au BPE, il sélectionne les fusions de caractères qui maximisent la vraisemblance des données d'entraînement selon un modèle probabiliste. Cet algorithme est notamment employé par BERT ; Unigram : à l'inverse de BPE, il commence par un dictionnaire géant contenant tous les mots et sous-mots possibles du corpus, puis élague progressivement les jetons les moins utiles à la structure globale du texte.
Tokénisation des images Comme pour les textes et mots, dans les modèles d'intelligence artificielle générative d'images tels qu'apparus dans les années 2020, les images ne sont pas traitées pixel par pixel, mais converties en unités discrètes (tokens).
La méthode la plus répandue est la segmentation de l'image en petits blocs réguliers (patchs), généralement de pixels. Chaque patch est ensuite transformé en un vecteur numérique qui devient un « token visuel ». Cette approche, introduite par les Vision Transformers (ViT), permet de traiter une image un peu comme une séquence analogue à une phrase, facilitant l'utilisation des mêmes mécanismes d'attention que pour le texte. Vers le milieu des années 2020, des modèles multimodaux d'IA tels que GPT‑4V, Gemini, LLaMA‑Vision, reprennent ce principe pour intégrer les images dans un vocabulaire commun de tokens..
Une seconde approche repose sur l'utilisation d'autoencodeurs variationnels à quantification vectorielle (VQ-VAE et ses évolutions VQGAN) ou d'autoencodeurs variationnels discrets (dVAE). Ces réseaux de neurones sont entraînés à compresser une image en une représentation intermédiaire de moindre dimension, nommée espace latent, constituée d'une suite de symboles discrets issue d'un dictionnaire... Ces concepts présentent différents cas d'application comme la compression d'image ou les modèles génératifs d'image (par exemple la première version de Dall-E).
Tokénisation des données audio Les modèles de génération de signaux audio basés sur les réseaux de neurones comme WaveNet sorti en 2016, ont montré leur capacité à générer des signaux audio point par point de manière convaincante. Cependant, ces modèles souffrent d'un débit de production relativement faible à cause du grand nombre de points à générer (une seconde de signal audio contenant classiquement 44 000 points).
Pour accroitre le débit une première approche a été de remplacer la génération point par point du signal échantilloné par la génération d'un mel-spectrogramme beaucoup plus dense en information. Le signal est d'abord converti en un spectrogramme (représentation visuelle des fréquences évoluant dans un segment de temps). Le spectrogramme est reconverti en un signal audio par le biais d'un vocodeur neuronal car, sans conserver les phases, la transformation du signal audio en un spectrogramme est une opération avec perte d'information.