La sûreté des intelligences artificielles, aussi appelée sûreté de l'IA ou sécurité de l'IA (traduction du terme anglais ) a pour but d'empêcher les accidents, abus ou autres conséquences néfastes pouvant résulter des systèmes d'intelligence artificielle (IA). Cela englobe notamment l'éthique des machines et l'alignement des intelligences artificielles (qui visent à rendre les systèmes d'IA moraux et bénéfiques), la conception de haute fiabilité et la surveillance des systèmes d'IA, mais aussi le développement de normes et de politiques favorisant la sécurité.
Motivations Les chercheurs en IA ont des opinions très variés sur la gravité et les principales sources de risque liés à l'IA.. . Dans deux enquêtes auprès de chercheurs en IA, le chercheur médian était optimiste quant à l'IA dans son ensemble, mais attribuait une probabilité de 5 % à des conséquences extrêmement mauvaises (par exemple, une extinction humaine) causées par l'IA de niveau humain. Dans une enquête menée en 2022 auprès de la communauté du traitement du langage naturel (Natural Language Processing, NLP), 37 % étaient d'accord ou faiblement d'accord pour dire qu'il est plausible que les décisions de l'IA puissent conduire à une catastrophe au moins aussi grave qu'une guerre nucléaire totale.. Les chercheurs s'intéressent aux risques de défaillances de systèmes critiques actuels, biais, surveillance rendue possible par l'IA, manipulation numérique, militarisation (notamment avec les armes létales autonomes) ; aux risques émergents liés au chômage technologique et aux risques spéculatifs de perte de contrôle des futurs agents d'intelligence artificielle générale..
Certains ont critiqué les inquiétudes concernant l'intelligence artificielle de niveau humain. C'est le cas de Andrew Ng, professeur adjoint à l'université de Stanford, qui les a comparées au fait de s'inquiéter de la surpopulation sur Mars alors que nous n'avons même pas encore mis les pieds sur la planète.. D'autres, comme Stuart J. Russell, professeur à l'université de Californie à Berkeley, appellent à la prudence, affirmant qu'il vaut mieux anticiper l'ingéniosité humaine que de la sous-estimer..
Histoire Les risques liés à l'IA ont été sérieusement discutés dès le début de l'ère informatique :
De 2008 à 2009, l'AAAI a commandé une étude pour explorer et l'impact à long terme de la recherche et du développement de l'IA sur la société. Le comité était globalement sceptique quant aux opinions radicales exprimées par les auteurs de science-fiction, mais a convenu que ..
En 2011, Roman Yampolskiy a introduit le terme anglais « » (ingénierie de sûreté de l'IA). lors de la conférence ., énumérant les échecs antérieurs des systèmes d'IA, et affirmant que la fréquence et la gravité de tels événements augmenteront régulièrement à mesure que les IA deviendront plus capables.. En 2014, le philosophe Nick Bostrom a publié le livre . Son argument selon lequel les futurs systèmes avancés pourraient constituer une menace pour l'existence humaine a incité Elon Musk., Bill Gates, et Stephen Hawking à exprimer des préoccupations similaires.
En 2015, des dizaines d'experts en intelligence artificielle ont signé une lettre ouverte sur l'intelligence artificielle appelant à des recherches sur les impacts sociétaux de l'IA et décrivant des orientations concrètes.. À ce jour, la lettre a été signée par plus de 8 000 personnes, dont Yann LeCun, Shane Legg, Yoshua Bengio et Stuart Russell. La même année, un groupe d'universitaires dirigé par le professeur Stuart Russell a fondé le Center for Human-Compatible AI à l'université de Berkeley, et le Future of Life Institute a accordé 6,5 millions de dollars de subventions pour la recherche visant à garantir que l'intelligence artificielle reste sûre, éthique et bénéfique.. En 2017, le Future of Life Institute a parrainé la conférence Asilomar sur l'IA bénéfique, où plus de 100 personnalités ont formulé des principes pour une IA bénéfique. Notamment le fait que les équipes développant ces systèmes d'IA devraient coopérer activement pour éviter que la pression compétitive ne les pousse à négliger la sécurité.. En 2018, l'équipe de sécurité de DeepMind a décrit les problèmes de sécurité de l'IA en termes de spécification, de robustesse et d'assurance. L'année suivante, les chercheurs ont organisé un atelier axé sur ces problèmes à la conférence ICLR..
Axes de recherche Les domaines de recherche sur la sûreté de l'IA incluent la robustesse, la surveillance et l'alignement.. La robustesse vise à rendre ces systèmes très fiables et résistant à des attaques, la surveillance consiste à anticiper les défaillances ou à détecter les abus, et l'alignement vise à maîtriser les objectifs assignés aux machines.
Robustesse La recherche sur la robustesse vise à garantir que les systèmes d'IA se comportent comme prévu dans un large éventail de situations différentes, ce qui inclut les sous-problèmes suivants : Robustesse aux cygnes noirs : faire en sorte que l'IA ne cause pas d'incidents dans des situations rares. Robustesse aux attaques: faire en sorte qu'il ne soit pas possible de concevoir des données faisant dérailler l'IA.
Robustesse aux cygnes noirs Des situations rares peuvent entraîner des défaillances catastrophiques des systèmes d'IA. Par exemple, lors du flash crash de 2010, les systèmes de trading automatisés ont réagi de manière excessive aux aberrations du marché, détruisant un billion de dollars de valeur boursière en quelques minutes.. Les échecs de cygne noir peuvent se produire en raison de la longue traîne des données d'entrée, ce qui est souvent le cas dans des environnements réels.. Les véhicules autonomes continuent à avoir des difficultés avec les « cas d'urgence » qui n'auraient pas été abordés pendant l'entraînement ; par exemple, un véhicule peut ignorer un panneau d'arrêt qui s'allume sous la forme d'une grille LED.. Bien que des problèmes comme ceux-ci puissent être résolus à mesure que les systèmes d'apprentissage automatique développent une meilleure compréhension du monde, certains chercheurs affirment que ça restera un problème, en soulignant que même les humains ne parviennent souvent pas à répondre de manière adéquate à des événements sans précédent comme la pandémie de Covid-19.
Robustesse aux attaques droite|vignette|Un bruit soigneusement conçu peut être ajouté à une image pour tromper le réseau de neurones. Ici, un chien Beagle est classifié comme étant une autruche avec de probabilité.
Les systèmes d'IA sont souvent vulnérables à des données qu'un attaquant aurait intentionnellement conçues pour provoquer une erreur.. Par exemple, en 2013, Szegedy et al. ont découvert que l'ajout de perturbations imperceptibles spécifiques à une image pouvait entraîner une mauvaise classification avec une grande confiance.. Cela continue d'être un problème avec les réseaux de neurones, bien que dans des travaux récents, les perturbations sont généralement suffisamment importantes pour être perceptibles.... Les chercheurs ont démontré qu'un signal audio pouvait être modifié de manière imperceptible afin que les systèmes de synthèse vocale le transcrivent dans n'importe quel message choisi par l'attaquant. Les hackers peuvent également adapter leurs attaques pour tromper les systèmes de détection d'intrusions. et de logiciels malveillants..
Les modèles de récompense doivent également être robustes. Par exemple, un modèle de récompense peut estimer l'utilité d'une réponse textuelle et un modèle de langage peut être entraîné à maximiser ce score. Les chercheurs ont montré que si un modèle de langage est entraîné suffisamment longtemps, il aura tendance à tirer profit des failles du modèle de récompense pour obtenir un meilleur score, même si ça dégrade les performances réelles.. Il est possible d'améliorer la robustesse des systèmes de récompense.. Plus généralement, toute IA utilisée pour évaluer une autre IA doit être robuste. Cela pourrait aussi être le cas d'outils de surveillance, car ils pourraient également être altérés pour produire une récompense plus élevée..
Surveillance La surveillance se concentre sur l'anticipation des défaillances des systèmes d'IA afin qu'elles puissent être évitées ou gérées. Cela inclut le signalement d'incertitudes élevées, la détection d'utilisations malveillantes, et l'identification des fonctionnalités cachées qui pourraient être implantées par un acteur malveillant.
Estimation de l'incertitude Il est souvent important pour les opérateurs humains d'évaluer à quel point ils peuvent faire confiance à un système d'IA, en particulier quand les enjeux sont élevés comme pour les diagnostics médicaux.. Les modèles d'IA expriment généralement leur confiance en produisant des probabilités. Cependant, ils sont souvent trop confiants, en particulier dans des situations différentes de celles pour lesquelles ils ont été formés.. La recherche en calibration vise à pouvoir ajuster les probabilités du modèles avec la réalité.
De même, la détection d'anomalies vise à identifier quand un système d'IA se trouve dans une situation inhabituelle. Par exemple, si un capteur sur un véhicule autonome fonctionne mal ou si le véhicule rencontre un terrain difficile, il doit alerter le conducteur pour qu'il prenne le contrôle ou s'arrête.. La détection d'anomalies peut être mise en œuvre en formant un classifieur à distinguer les situations anormales ou non., bien que d'autres techniques existent...
Détecter des usages malveillants Des universitaires. et des agences gouvernementales s'inquiètent que des systèmes d'IA puissent être utilisés pour aider des acteurs malveillants à fabriquer des armes, manipuler l'opinion publique.., ou automatiser des cyberattaques.. Ces inquiétudes sont une préoccupation pratique pour des entreprises comme OpenAI qui hébergent de puissants modèles d'IA accessibles en ligne.. Afin d'éviter les abus, OpenAI a conçu des systèmes de détection qui signalent ou restreignent les utilisateurs en fonction de leur activité..
Transparence Les réseaux de neurones sont typiquement considérés comme des boîtes noires., car il est difficile de comprendre leur fonctionnement interne, vu leur nombre de paramètres et la quantité massive de calculs qu'ils effectuent..
L'un des avantages de la transparence est l'explicabilité.. Il est parfois exigé par la loi de pouvoir expliquer pourquoi une décision a été prise afin de garantir l'équité, par exemple pour le filtrage automatique de candidats ou l'attribution de notes de crédit. Un autre avantage est de diagnostiquer la cause des échecs. Au début de la pandémie de Covid-19 de 2020, des chercheurs ont utilisé des outils de transparence pour révéler que des classifieurs d'images médicales tenaient compte de critères non pertinents..