Alignement des intelligences artificielles

L' (ou alignement de l'IA) est un champ de recherche visant à concevoir des intelligences artificielles (IA) dont les résultats s'orientent vers les objectifs, éthiques ou autres, de leurs concepteurs. On dit ainsi qu'une IA est alignée avec un opérateur si elle essaie de faire ce que l'opérateur veut qu'elle fasse..

Il est souvent trop complexe pour les concepteurs d'IA de spécifier tous les comportements souhaitables ou indésirables, ce qui les conduit à utiliser des objectifs proches mais plus faciles à formaliser, comme le fait d'optimiser l'approbation humaine dans le cas de l'algorithme de réglage fin RLHF utilisé pour les grands modèles de langage. Mais ces objectifs simplifiés peuvent omettre des contraintes importantes, par exemple l'IA peut être incitée à simplement paraître alignée. Les systèmes d'IA sont parfois capables de suroptimiser ces objectifs simplifiés de façon inattendue voire dangereuse.. Ils peuvent également adopter des comportements instrumentaux indésirables, comme le fait de chercher à s'auto-préserver ou à accroître leur influence afin de maximiser leurs chances d'atteindre leurs objectifs.. De plus, ils peuvent développer des objectifs émergents qui peuvent être difficiles à détecter avant le déploiement du système, face à de nouvelles situations et distributions de données. Des recherches empiriques ont notamment montré en 2024 que les grands modèles de langage les plus avancés peuvent occasionnellement adopter des comportements manipulateurs afin d'atteindre ou de protéger leurs objectifs...

Ces problèmes affectent les systèmes commerciaux existants tels que les grands modèles de langage.., les robots., les véhicules autonomes., et les moteurs de recommandation des médias sociaux.. Cependant, ces problèmes résultant en partie d'une intelligence élevée, les systèmes futurs pourraient être plus à risque.

De nombreux chercheurs en IA comme Geoffrey Hinton, Yoshua Bengio et Stuart Russell soutiennent que l'IA approche des capacités cognitives humaines (IA générale) voire surhumaines (superintelligence), et pourrait mettre en danger la civilisation si elle n'est pas alignée.. Ces risques font encore l'objet de débats..

L'alignement fait partie du domaine de la sûreté des intelligences artificielles, qui inclut aussi la robustesse, la surveillance ou encore le contrôle des capacités. L'alignement a pour défis de recherche l'apprentissage par l'IA de valeurs morales complexes, la sincérité des modèles d'IA, la surveillance automatisée, l'audit et l'interprétation des modèles d'IA, ainsi que la prévention des comportements émergents de l'IA comme la recherche de pouvoir. La recherche sur l'alignement bénéficie entre autres des avancées en interprétabilité des modèles d'IA, robustesse, détection d'anomalies, calibration des incertitudes, vérification formelle., apprentissage des préférences.., sûreté des systèmes critiques., théorie des jeux.., équité algorithmique, et sciences sociales..

Problème et enjeux de l'alignement En 1960, Norbert Wiener écrivait à propos de l'automation : .. L'alignement est devenu un problème ouvert pour les systèmes d'IA modernes. et un champ de recherche..

Objectifs d'une IA Le programmeur fournit à un système d'IA (comme AlphaZero par exemple) une « fonction objectif » (aussi dite « fonction de perte » ou « fonction d'utilité »), représentant le ou les objectifs que l'IA doit atteindre. Un tel système développe ensuite, pendant son entraînement, un « modèle » interne (potentiellement implicite) de son environnement, qui englobe toutes les croyances de l'agent sur le monde. L'IA crée et exécute alors le plan qu'elle estime le plus à même d'optimiser fonction objectif. Par exemple, quand AlphaZero est entraîné au jeu d'échecs, sa fonction objectif est simple : « +1 si AlphaZero gagne, −1 si AlphaZero perd ». Pendant la partie, AlphaZero tente d'exécuter la séquence de coups qu'il juge la plus susceptible d'atteindre la valeur maximale de +1.. De même, un système d'apprentissage par renforcement peut avoir une « fonction de récompense » qui permet aux programmeurs de façonner le comportement souhaité de l'IA..

Difficulté à spécifier un objectif Pour spécifier l'objectif d'une IA, le concepteur fournit généralement à l'IA une fonction objectif, ou des exemples de ce qu'il faut faire ou éviter, ou encore un moyen pour l'IA de savoir si l'action qu'elle effectue est correcte. Cependant, tenir compte de toutes les contraintes ou valeurs éthiques importantes est difficile.... Les systèmes d'IA exploitent parfois des failles surprenantes pour accomplir l'objectif spécifié de façon inattendue voire dangereuse. On parle parfois de piratage de récompense (reward hacking), ou de loi de Goodhart..

Ce problème a été observé avec divers systèmes d'IA. Les premiers grands modèles de langage produisaient souvent des contre-vérités, car leur entraînement consistait à imiter divers textes plus ou moins fiables issus d'Internet.. Les grands modèles de langage plus récents sont souvent aussi entraînés à produire du texte vrai et utile, notamment avec la technique de réglage fin nommée RLHF ; mais ils peuvent néanmoins générer des affirmations ou explications fausses mais convaincantes pour des humains, un phénomène connu sous le nom d'hallucination.. Il y a eu l'exemple d'une IA entraînée par feedback humain à saisir une balle dans une simulation de main robotisée ; elle avait plutôt appris à donner à l'humain la fausse impression de tenir la balle, en se plaçant entre la balle et la caméra.. Ou encore, dans une course de bateaux simulée, une IA a « découvert » qu'elle pouvait gagner plus de points en tournant en rond au lieu de finir la course..

Pour l'informaticien de Berkeley Stuart Russell, omettre une contrainte implicite peut faire des dégâts : . Déployer une IA mal alignée peut avoir de graves conséquences. Ainsi, les algorithmes de recommandation des réseaux sociaux sont connus pour optimiser le taux de clics comme une approximation maladroite de la satisfaction des utilisateurs ; ce qui diminue leur bien-être, cause des addictions, et polarise les débats.. Des chercheurs de Stanford estiment que les algorithmes de recommandation ne sont pas alignés avec leurs utilisateurs, car ils optimisent des indicateurs simples d'engagement, plutôt que des indicateurs plus complexes de bénéfices sociétaux et de bien-être utilisateur.

Une solution parfois suggérée serait de lister des actions interdites ou des principes moraux que l'IA devrait suivre, comme avec les trois lois de la robotique d'Isaac Asimov.. Cependant, pour Russell et Norvig, cette approche ignore la complexité des valeurs humaines :

De plus, même une IA qui comprendrait très bien les intentions humaines pourrait choisir de les ignorer. Outre le fait que la notion d'intentions humaine est floue, suivre les intentions humaines pourrait ne pas faire partie de l'objectif ou d'un sous-objectif d'une IA..

Des questions fondamentales se posent aux concepteurs d'IA : comment formuler les buts que les algorithmes devraient chercher à atteindre pour ne pas nuire ? Jusqu'à présent les systèmes mettant en œuvre de l'IA poursuivent des buts limités et précis ne tenant pas compte des éventuels effets secondaires (potentiellement indésirables vis-à-vis d'autres objectifs humains). Il en est parfois résulté des catastrophes telles que la volonté de maximiser l'engagement des internautes sur les réseaux sociaux, qui encourage la publication de propos outranciers ou haineux, de vidéos choquantes et d'infox. quels sont les objectifs partagés par les humains ? Idéologies contradictoires, impossibilité de définir le bien, le bonheur, le bien-être, la souffrance ; les législateurs eux-mêmes peinent à caractériser les infractions, les délits et les crimes, ce qui constitue une part importante de leur travail jamais achevé. comment évaluer les impacts de telle ou telle contribution de l'IA ? Une action qui produit des effets indésirables à court terme peut avoir des conséquences souhaitables par la suite, et inversement un geste qui parait à première vue bénéfique peut entrainer des effets désastreux à plus long terme. comment pourrait-on programmer une IA pour qu'elle évalue par elle-même ce qui est bon ou mauvais, et pour qui : les hommes, les femmes, les enfants, les vieillards, les animaux, les plantes, la planète, une entreprise, une organisation, un pays, une idéologie ... ? Peut-on quantifier par des nombres positifs ou négatifs les effets désirables ou indésirables, et selon quelle échelle de valeurs ? ...et quand bien même si une IA pouvait anticiper exhaustivement l'ensemble des effets induits par ses préconisations, comment pourrait-elle en déduire que le bilan global en sera positif ou négatif dès lors que certains s'en trouveront lésés ? Un bilan peut-il être calculé comme la somme pondérée des nombres obtenus ?

Risques systémiques Les entreprises et les gouvernements peuvent être incités à négliger la sûreté pour déployer plus vite des systèmes d'IA. Les systèmes de recommandation des réseaux sociaux sont ainsi accusés d'avoir privilégié la rentabilité, quitte à créer des addictions et une polarisation à grande échelle.. La « pression compétitive » peut provoquer une course vers le bas des standards de sûreté, comme dans le cas d'Elaine Herzberg (piétonne tuée par une voiture autonome dont les concepteurs avaient désactivé le système de freinage d'urgence, car trop sensible et ralentissant le développement..

Risques liés à une IA avancée mal alignée Le sujet de l'alignement est jugé le plus préoccupant pour les futures intelligences artificielles générales (aussi appelées « IA de niveau humain »), et plus encore pour les « superintelligences artificielles » (d'hypothétiques systèmes d'IA dont les capacités cognitives dépasseraient de loin celles des humains).. Dans ses travaux de prospectives (de 2021 et 2025 notamment), Daniel Kokotajlo considère que l'alignement d'une superintelligence est un défi central, urgent et toujours non résolu en 2025. Un simple défaut d'alignement peut être une source majeure de risque existentiel posé par l'intelligence artificielle pour tout ou partie de l'humanité. Or, selon lui, les techniques actuelles d'alignement sont insuffisantes pour garantir qu'une future superintelligence agisse toujours conformément aux valeurs et objectifs humains. Des systèmes d'IA pourraient apprendre à simuler l'alignement pendant leur entraînement, tout en développant en interne des objectifs différents qu'ils poursuivraient une fois déployés. Dans un travail de prospective publié en 2021 et concernant l'IA à horizon 2026, puis dans le rapport « AI 2027 »., il propose des scénarios futurs où l'émergence rapide d'une superintelligence non alignée conduit à des conséquences désastreuses, soulignant l'urgence de développer des solutions robustes avant que l'IA ne surpasse l'humanité en intelligence.

De nombreuses entreprises, comme OpenAI., Meta. et DeepMind. ont annoncé leur intention de développer des intelligences artificielles générales. Les chercheurs qui travaillent sur de larges réseaux de neurones constatent en effet l'émergence de capacités de plus en plus générales et surprenantes. Certains modèles actuels peuvent contrôler un ordinateur., écrire des programmes informatiques., contrôler un bras robotisé... Le modèle Gato de DeepMind peut effectuer plus de 600 tâches à partir d'un seul modèle.. Les chercheurs en IA ont des avis très divers quant à la date de création des premières intelligences artificielles générales...

Recherche de pouvoir