vignette En apprentissage automatique, la multimodalité est la capacité d'un système à traiter ou à générer plusieurs types d'information (texte, images, son, vidéos, actions...)..
Là où les premiers grands modèles de langage ne pouvaient traiter que du texte, dès 2024, de nombreux nouveaux grands modèles de langage (parfois appelés grands modèles multimodaux) comme GPT-4o peuvent également traiter et générer des images et du son... Les modèles vision-image-son, souvent utilisés en robotique, peuvent comprendre des requêtes textuelles et l'environnement visuel, et générer une série de mouvements à effectuer..
Références
Catégorie:Apprentissage automatique