La reconnaissance automatique des émotions est le processus d'identification des émotions humaines par des techniques numériques. Ces outils sont issus d'un domaine encore émergent de la recherche, qui a beaucoup progressé dans les années 2020. Ils permettent d'identifier des émotions à partir d'une image, d'une vidéo, de la voix ou d'un texte (ou de manière multimodale à partir de plusieurs de ces voies, avec alors de meilleurs résultats).
GPT-4o, qui a commencé à être déployé par OpenAI en , est la première intelligence artificielle publiquement disponible à en être nativement capable.
Les individus humains varient considérablement dans leur capacité à reconnaître leurs émotions et celles des autres. La reconnaissance des signes d'émotions sur le visage et le corps (langage non verbal), peut aider des aveugles ou personnes malvoyantes à interpréter les émotions d'interlocuteurs. Elle peut aider des personnes concernées par un trouble du spectre autistique (TSA) à exprimer ce qu'elle ressentent, et à mieux comprendre ce qu'une autre personne ressent. Matthew D. Lieberman , en 2007, ont montré grâce à l'IRM, que le simple fait de nommer l'émotion diminue l'activation physiologique associée dans l'amygdale et le système limbique, au profit d'une activation du cortex préfrontal ventrolatéral droit..
Cette reconnaissance automatique des émotions transmises par le visage, la voix et les mouvements et postures est cruciale pour améliorer les interactions et collaborations homme-machine., car pouvant permettre à des robots, des machines, des véhicules et à divers logiciels (y compris de jeux vidéo) d'interpréter les expressions faciales pour enclencher des rétroactions plus adaptées, « intelligentes » et empathiques.
L'outil est en soi neutre, mais il est puissant et peut avoir des usages malveillants ou sociétalement dangereux : il peut servir le bien commun, par exemple pour un « diagnostic en ligne » ou en télémédecine. notamment pour l'évaluation de la douleur. et de la santé mentale (schizophrénie par exemple)., dépression, maladie de Parkinson., somnolence., fatigue, fatigue chronique., TDAH, trouble panique, ou pour mieux comprendre un. bébé, un malade ou une personne âgée qui ne seraient pas en état de parler, ou pour mieux veiller à distance sur des patients présents dans un centre de soins connecté. ; pour savoir si des élèves ou étudiants ou des personnes apprenant en ligne comprennent ce qu'ils lisent ou entendent, pour permettre à une intelligence artificielle de détecter des indices d'alcoolémie et/ou des signes d'inattention ou d'endormissement d'un conducteur ou d'un travailleur et ainsi diminuer le risque d'accident.. Il peut aussi intéresser les autorités chargées de la sécurité. ; il peut être utilisé pour des sondages ou études de marché ; il peut aussi être utilisé de manière malveillante : il peut en effet intrusivement, illégalement, et secrètement, révéler des aspects intimes et secrets de la personnalité des internautes ou de toute personne filmée dans une entreprise ou dans l'espace public (ou privé). Ceci peut avoir de graves conséquences dans un système judiciaire (car l'intelligence artificielle peut se tromper notamment parce qu'elle a surtout été formée avec les émotions de personnes adultes, blanches et plutôt masculines, et non ou peu avec des aveugles, autistes ou personnes paralysées ou victimes d'un AVC ou d'un handicap faisant que leur visage, leur voix et leur gestuelle exprime aucune émotion ou les exprime très différemment), dans le contexte d'une société et économie de la surveillance et/ou dans un régime autoritaire ou dictatorial. En complément des outils numérique d'analyses dans le Web de l'opinion publique et individuelle (opinion mining), il peut faciliter les techniques de manipulation psychologique d'internautes, d'acheteurs ou d'électeurs, notamment via les réseaux sociaux comme on l'a vu dès le milieu des années 2010 avec le scandale Facebook-Cambridge Analytica/AggregateIQ qui grâce à une intelligence artificielle baptisée RIPON a pu conduire à l'élection de Donald Trump, au Brexit et à d'autres fraudes ou manipulations électorales.
Historique Certaines machines tendent à être conçues pour de plus en plus se comporter comme des humains pour diverses applications. Cette tendance a encouragé la création d'outils de reconnaissance automatisée des émotions humaines.
Ce domaine a émergé avec les logiciels de reconnaissance faciale qui a évolué vers l'automatisation de la reconnaissance des expressions faciales, à partir d'images et de vidéos, mais aussi à partir des expressions parlées (audio), écrites, et parfois à partir de la physiologie (pouls, électrocardiogramme, électroencéphalogramme (EEG)..., de peau (mesurées par la réponse galvanique de la peau), tremblements, couleur et aspect de la peau, mouvements des sourcils, des yeux, des narines, des oreilles, de la bouche, et diamètre de la pupille, humectation de la bouche, microréactions musculaires réflexes).
L'intelligence artificielle peut aussi contribuer à l'évaluation en temps réel de la charge mentale pesant sur un individu.. Dans le domaine de la kinésique, on sait que les postures et mouvements corporels transmettent des informations spécifiques aux émotions. On a récemment proposé et testé un système de coussin intelligent qui, associé à des capteurs inertiels sur les poignets, mesure via l'analyse des postures et gestes de la personne son état émotionnel. Il pourrait par exemple aider au diagnostic d'employés de bureau, navetteurs, conducteurs longue distance ou personnes à mobilité réduite.
Quelques rappels sur les émotions Selon sa personnalité et selon le contexte, chaque humain est plus ou moins introverti ou extraverti pour ce qui concerne ses émotions et ses intentions (plus ou moins guidées par ses émotions).
L'émotion peut être définie comme l'état psycho-physiologique et psychologique d'un être humain à un instant donné.
Les humains présentent en outre une grande variabilité dans leurs capacités à reconnaître, en eux et/ou chez les autres les émotions primaires telles que le bonheur, la peur, la colère, la surprise, la tristesse ou le dégoût et d'autres émotions secondaires plus complexes ; de même pour l'intensité et la valence (émotion positive ou négative) de l'expression émotionnelle, autant de paramètres que l'intelligence artificielle peut analyser.
La capacité humaine à reconnaitre ses propres émotions et celles d'autrui varie en outre avec l'âge, l'attention et la qualité de la vue, de l'audition et du système perceptif.
Un défaut inné (ou acquis, par exemple à la suite d'un traumatisme cérébral) de capacité à reconnaitre ses propres émotions et/ou celles des autres est dénommé alexithymie. Une difficulté à regarder un interlocuteur et/ou à interpréter les émotions, des visages notamment, est l'un des critères importants de diagnostic du trouble du spectre autistique.
Le cerveau humain peut parfois faire des erreurs d'interprétation. De telles erreurs peuvent provenir de l'interlocuteur, qui peut être un acteur et/ou savoir simuler ou cacher des émotions (il peut par exemple se sentir triste et néanmoins se forcer à afficher un grand sourire, et ainsi parfois tromper son entourage).
Dans de nombreuses cultures, on apprend aux garçons et/ou aux filles à ne pas extérioriser, voire à soigneusement cacher certaines émotions. Le maquillage, le voile, des lunettes noires, peuvent cacher de nombreux signaux émotionnels.
Au siècle, des concepteurs d'intelligences artificielles cherchent à leur inculquer une capacité à identifier en temps réel les émotions des personnes. Ils le font en imitant plus ou moins le cerveau humain, qui peut détecter de nombreux signaux, pour beaucoup non verbaux et discrets, relatifs aux émotions.
Si dans ces cas présentés plus haut, une méthode automatisée de reconnaissance des émotions obtient des résultats similaires à ceux d'un groupe d'observateurs, elle est généralement considérée comme précise (même si, comme on l'a vu, elle ne mesure pas réellement ce que ressent la personne).
Les alexithymiques (enfants autistes en particulier), n'ont généralement pas une représentation claire de leurs sentiments intérieurs. Et souvent, ils ne disposent pas des mots, chiffres, codes et concepts leur permettant de communiquer leurs émotions aux autres. Dans ces cas, Nursuriati Jamil ont en 2015 suggéré d'analyser la locomotion d'enfants atteints de TSA, comme alternative à l'analyse des émotions du visage ou de la voix, pour au moins détecter des états émotionnels neutres, heureux, tristes ou de colère).
Dans la lignée de l'informatique émotionnelle., une intelligence artificielle peut désormais détecter en temps quasi-réel des indices émotionnels discrets que l'humain ne repère pas.
Comprendre ses émotion peut demander un certain travail, qui peut être accompagné par un psychologue et peut être bientôt par des intelligences artificielles.
Reconnaissance automatique Des décennies de recherche en psychologie en psychanalyse et psychiatrie, et les progrès récents de la reconnaissance d'image puis de l'intelligence artificielle ont abouti à des méthodes de plus en plus fiables, précises et rapides de reconnaissance automatisée des émotions.
Une littérature abondante porte notamment sur le traitement du signal, l'apprentissage automatique, la vision par ordinateur et le traitement de la parole qui, tous, ont bénéficié des progrès des réseaux bayésiensYoshihiro Miyakoshi et Shohei Kato, "Facial Emotion Detection Considering Partial Occlusion Of Face Using Baysian Network". Computers and Informatics, 2011, ., de modèle de mélange gaussienHari Krishna Vydana, P. Phani Kumar, K. Sri Rama Krishna and Anil Kumar Vuppala. "Improved emotion recognition using GMM-UBMs" ; 2015 International Conference on Signal Processing and Communication Engineering Systems et de modèles de Markov cachésB. Schuller, G. Rigoll M. Lang. "Hidden Markov model-based speech emotion recognition". ICME '03. Proceedings. 2003 International Conference on Multimedia and Expo, 2003. et de l'apprentissage profond par les réseaux de neurones artificiels..
Approches On est passé de systèmes expert dans les années 2010, à des approches algorithmiques unimodales des émotions, puis à des approches fusionnées. puis dans les années 2020 à de premières analyses multimodales, bien plus complexes, et bien plus précises.. car s'appuyant à la fois sur les textes, la physiologie, l'audio et/ou la vidéo. Différents signaux émotionnels sont alors combinés en intégrant des indications provenant des expressions faciales, des mouvements et gestes du corps, de la parole ou des écrits..
Trois grandes approches co-existent : techniques basées sur la connaissance ; méthodes statistiques ; approches hybrides..
Certains auteurs estiment que ce type de technologie contribue déjà à l'émergence d'un Internet dit « émotionnel »..
Techniques basées sur la connaissance Parfois aussi appelées techniques « basées sur le lexique », elles utilisent la connaissance du domaine et les caractéristiques sémantiques et syntaxiques du texte et du langage, pour détecter certains types d'émotions..
Pour classer les émotions, elles s'appuient souvent sur des ressources dites « basées sur les connaissances » telles que WordNet, SenticNet., ConceptNet et EmotiNet., pour n'en nommer que quelques-uns.. Un avantage de cette approche est l'accessibilité et l'économie induites par la grande disponibilité de ces ressources. Mais une limite de cette technique est son incapacité à gérer les nuances conceptuelles et les règles linguistiques complexes. Deux grandes techniques basées sur la connaissance coexistent: les approches basées sur des dictionnaires et celles basées sur des corpus.