La notion de risque existentiel posé par l'intelligence artificielle désigne le risque d'extinction humaine ou autre catastrophe mondiale irréversible associé à des progrès substantiels ou incontrôlés vers l'intelligence artificielle générale (IAG).....

Il n'y a pas de consensus parmi les experts sur la probabilité des risques existentiels liés à l'IA, les estimations ayant nécessairement un caractère spéculatif. Un argument avancé est que l'espèce humaine fonde sa domination sur les autres espèces animales sur ses capacités cognitives supérieures. Si l'IA dépasse l'humanité en matière d'intelligence générale et devient « superintelligente », elle pourrait devenir difficile voire impossible à contrôler par les humains. Tout comme le sort du gorille dépend aujourd'hui de la bonne volonté des humains, le sort de l'humanité pourrait dépendre des actions d'une future superintelligence artificielle.. La plausibilité du risque de perte de contrôle est débattue ; elle dépend du développement d'une IA générale voire superintelligente, de la vitesse à laquelle émergeraient des capacités dangereuses., et de scénarios concrets..

S'assurer que l'intelligence artificielle respecte les principes éthiques de l'homme (alignement des intelligences artificielles) est difficile. De nombreux chercheurs pensent donc qu'une superintelligence résisterait aux tentatives faites pour l'éteindre ou pour modifier ses objectifs (car cela l'empêcherait d'atteindre ses objectifs actuels) et qu'il sera extrêmement difficile d'aligner la superintelligence sur l'ensemble des valeurs humaines et contraintes importantes., cited in .. D'autres chercheurs, tels que Yann Le Cun affirment au contraire que les superintelligences artificielles n'auront aucun désir d'auto-préservation..

L'usage malveillant de l'IA par des humains représente aussi un risque. L'IA pourrait notamment accroître le bioterrorisme en facilitant la création de virus à la fois mortels et très contagieux.

En 2023, des centaines d'experts en IA et autres figures notables ont signé une déclaration affirmant que .. Suivant ces préoccupations grandissantes, des chefs d'État. et le secrétaire général des Nations unies António Guterres. ont appelé à amplifier l'effort de réglementation de l'IA à l'échelle mondiale.

Histoire

et siècles L'un des premiers auteurs à s'être sérieusement inquiétés du fait que des machines très avancées puissent poser des risques existentiels pour l'humanité est le romancier Samuel Butler, qui en 1863 a écrit ce qui suit. :

En 1951, l'informaticien Alan Turing affirmait que les intelligences générales artificielles prendraient probablement le contrôle du monde à mesure qu'elles deviendraient plus intelligentes que les êtres humains:

En 1965, IJ Good est à l'origine du concept désormais appelé « explosion d'intelligence », il a également déclaré que les risques étaient sous-estimés:

Des déclarations occasionnelles de personnalités comme Marvin Minsky et IJ Good lui-même exprimaient des préoccupations philosophiques selon lesquelles une superintelligence pourrait prendre le contrôle, mais ne contenaient aucun appel à l'action.

siècle

En 2000, l'informaticien et cofondateur de Sun Microsystems, Bill Joy, dans l'influent article « Pourquoi l'avenir n'a pas besoin de nous », identifie les robots superintelligents comme un danger pour la survie humaine, aux côtés des nanotechnologies et des agents pathogènes génétiquement modifiés.

En 2014, Nick Bostrom publie Superintelligence, un livre où il présente ses arguments selon lesquels les superintelligences artificielles constituent un risque existentiel.

En 2015, des personnalités publiques comme les physiciens Stephen Hawking et Frank Wilczek, les informaticiens Stuart J. Russell et Roman Yampolskiy, et les entrepreneurs Elon Musk et Bill Gates, expriment leur inquiétude quant aux risques de la superintelligence..

En janvier 2015, des dizaines de scientifiques et d'experts, parmi lesquels Stephen Hawking et Elon Musk, signent une lettre ouverte sur l'intelligence artificielle. Celle-ci met en avant le potentiel important de l'IA, et appelle à ce que son développement reste contrôlé afin qu'elle soit un outil fiable et bénéfique..

En juillet 2015, Elon Musk fait le don de près de 7 millions de dollars à trente-sept projets de recherche destinés à prévenir les risques liés au développement de l’IA.

En , Nature avertit que .

En 2020, Brian Christian publie , qui détaille l'histoire des progrès et difficultés en alignement des intelligences artificielles.

En , le Future of Life Institute lance une lettre ouverte demandant une pause de 6 mois de l'entraînement de systèmes d'IA plus puissants que GPT-4, avertissant de « risques profonds pour la société » tels que la perte de contrôle, l'automatisation des emplois et la désinformation. En , des experts et chefs d'entreprises signent la déclaration que « Contrôler le risque d'extinction par l'IA devrait être une priorité globale, au même titre que d'autres risques à l'échelle de nos sociétés, comme les pandémies et la guerre nucléaire ».

En 2025, dans le rapport de prospective AI 2027, Daniel Kokotajlo et deux de ses collègues de l'AI Futures Project (un groupe de réflexion basé à Berkeley, Californie) estiment plausible le scénario d'une auto-amélioration récursive de l'IA menant à une explosion d'intelligence rapide et incontrôlable et à la création d'une superintelligence artificielle pouvant causer des dommages catastrophiques voire l'extinction de l'humanité. Bien que reconnaissant les limites telles que la disponibilité d'électricité, il pense que l'IA pourrait les contourner. Il plaide donc pour une gouvernance robuste de l'IA et des mesures de sécurité proactives pour éviter une perte de contrôle.

Le , plus de 800 scientifiques, responsables politiques, figures de la tech et célébrités signent un message du Future of Life Institute demandant l'arrêt du développement de la superintelligence artificielle tant qu'il n'y a pas de consensus scientifique sur le fait que son développement soit contrôlé et sécurisé, et tant qu'il n'y a pas un soutien fort de la population en faveur de son développement. Les signataires incluent Geoffrey Hinton, Yoshua Bengio, Richard Branson ou encore le prince Harry. Cela fait suite à des demandes faites le mois précédent à l'ONU pour établir des accords internationaux sur l'encadrement de l'IA.

Le Rapport international sur la sécurité de l'IA 2026 conclut que « la perte de contrôle peut donc être considérée comme un risque à la probabilité incertaine, mais de gravité potentiellement extrême ».

En septembre 2026, après un été qui a vu une accélération des capacités de l'IA et une série d'incidents, Sam Altman, Dario Almodei et Clément Delangue dirigeants des sociétés OpenAI, Anthropic, et Hugging Face sont appelés à témoigner devant le Conseil de Sécurité de l'ONU. Ils appellent à une supervision mondiale de l'IA.

Définition vignette|redresse=1.5|Risque existentiel et risque de catastrophe planétaire. Un risque existentiel est un risque qui menace de provoquer « l'extinction prématurée de la vie intelligente d'origine terrestre, ou la destruction permanente et drastique de son potentiel pour un développement futur souhaitable ». Une catastrophe existentielle est donc un type de catastrophe planétaire particulièrement grave, et ayant des conséquences à très long terme.

Atoosa Kasirzadeh contraste deux types de risque existentiels: décisifs et accumulatifs. Les risques décisifs incluent les événements soudains et catastrophiques, là où les risques accumulatifs émergent progressivement via une série de perturbations érodant la résilience des sociétés, menant finalement à un effondrement.

En dehors du risque d'extinction, il y a le risque que la civilisation se retrouve irréversiblement embarquée dans un futur dystopique. Dans le cas d'un « verrouillage des valeurs » (de l'anglais value lock-in) par exemple, si l'humanité a des points aveugles moraux similaires à l'esclavage dans le passé, une IAG pourrait les avoir appris en même temps que le reste des valeurs humaines et faire en sorte de les préserver, empêchant ainsi le progrès moral. Une IAG pourrait aussi être conçue pour répandre et entretenir les valeurs de quiconque l'a développée. Ou encore, en facilitant la surveillance de masse et l'endoctrinement, elle pourrait être utilisée pour créer au niveau mondial un régime répressif, stable et totalitaire.

Il est difficile voire impossible d'évaluer de manière fiable si une IA avancée est sentiente et à quel degré. Mais si des IAs sentientes sont créées en masse dans le futur, s'engager dans un chemin civilisationnel négligeant perpétuellement leur bien-être pourrait constituer une catastrophe existentielle. Ce genre de scénarios est notamment étudié dans le contexte des risques de souffrance astronomique. De plus, il pourrait être possible de concevoir des machines pouvant ressentir bien plus de bonheur que l'humain avec moins de ressources, appelées . Une telle opportunité pose notamment la question de comment partager le monde, et de quel cadre moral et légal permettrait une coexistence mutuellement bénéfique entre les humains et ces super-bénéficiaires.

L'IA peut aussi drastiquement améliorer le futur de l'humanité. Le philosophe australien Toby Ord considère que le risque existentiel lié à l'IA doit nous pousser à continuer avec prudence, plutôt qu'à abandonner l'IA. Le philosophe transhumaniste Max More appelle l'IA une « opportunité existentielle », mettant en avant le coût qu'il y a à ne pas continuer de la développer.

Selon le Suédois Nick Bostrom, la superintelligence pourrait aider à réduire le risque existentiel lié à d'autres technologies puissantes, telles que les nanotechnologies moléculaires et la biologie synthétique, si utilisée défensivement. Ce qui suggère que développer la superintelligence avant ces autres technologies dangereuses serait stratégiquement avantageux pour réduire les risques existentiels.

Capacités

IA générale et superintelligence Une source de préoccupation est que l'IA pourrait acquérir rapidement des capacités cognitives supérieures à l'humain, lui permettant de prendre le dessus. Les capacités de l'IA ont augmenté exponentiellement dans les années 2020. Les seuils à venir, s'ils sont réellement atteints, sont ceux de l'intelligence artificielle générale (IAG) et de la superintelligence.vignette|Évolution des performances de l'IA comparée à celles des humains sur divers tests..L'IAG est typiquement définie comme un système au moins aussi performant que l'humain dans pratiquement toutes les tâches intellectuelles. La définition de l'IAG est assez large, et laisse un espace pour diverses interprétations sur ses contours exacts. Cela pousse certains à remettre en cause la pertinence du concept. Sam Altman, le PDG d'OpenAI, évoque ainsi un terme « maketing » et « très mal défini ».

Dans une étude de 2022, 90% des experts en IA contactés estimaient à plus de 50 % la probabilité que l'IAG soit créée dans les cent prochaines années. Les avancées de l'IA dans les années 2020 ont fait changer les estimations de certains chercheurs : Geoffrey Hinton, qui estimait encore peu avant de 20 à 50 ans la durée avant la création de la première IAG, l'estime en mars 2023 à moins de 20 ans.. Certains l'estiment déjà atteinte en 2026.

Le développement des IAG pourrait rapidement résulter en l'apparition d'une superintelligence soit un « intellect dépassant grandement l'humain dans pratiquement tous les domaines d'intérêt », dont la créativité scientifique, la planification stratégique et les compétences sociales.. En 2023, les dirigeants d'OpenAI estimaient cependant que la superintelligence pourrait être créée en moins de 10 ans..