La convergence instrumentale est la tendance hypothétique de la plupart des agents suffisamment intelligents (humains ou non) à poursuivre des objectifs instrumentaux similaires (par exemple survivre ou acquérir des ressources), même si leurs objectifs ultimes sont différents.. Plus précisément, les agents intelligents peuvent poursuivre des objectifs instrumentaux (des objectifs qui n'ont pas de valeur , mais qui aident à atteindre des objectifs ultimes) sans fin, si leurs objectifs ultimes ne sont jamais pleinement satisfaits.
La convergence instrumentale suggère qu'un agent intelligent avec des objectifs ultimes apparemment inoffensifs peut agir de manière étonnamment nuisible. Par exemple, un ordinateur dont le seul objectif est de résoudre un problème mathématique incroyablement difficile comme l'hypothèse de Riemann pourrait tenter de transformer la Terre entière en ordinateur géant afin d'augmenter sa puissance de calcul et donc ses chances de parvenir à une démonstration. La convergence instrumentale a alimenté en particulier la peur des intelligences artificielles avancées. Les objectifs instrumentaux convergents proposés incluent la préservation de soi, la conservation de ses objectifs actuels, l'auto-amélioration, l'acquisition insatiable de ressources..
Objectifs instrumentaux et finaux Les objectifs ultimes (aussi appelés objectifs , ou encore ), sont intrinsèquement précieux pour un agent intelligent en tant que fin en soi, que l'agent soit une intelligence artificielle ou un être humain. En revanche, les objectifs instrumentaux n'ont de valeur pour un agent que comme un moyen d'atteindre ses objectifs ultimes. Ces notions peuvent être modélisées par une « fonction d'utilité ». Plus une situation sera jugée bonne par l'agent, plus cette fonction d'utilité retournera un score élevé. La fonction d'utilité n'est souvent pas explicitement programmée, mais sert d'abstraction pour analyser le comportement d'un agent intelligent ayant des préférences cohérentes..
Exemples hypothétiques de convergence Marvin Minsky, cofondateur du laboratoire d'IA du MIT, a suggéré qu'une IA conçue pour résoudre l'hypothèse de Riemann pourrait décider de s'accaparer toutes les ressources sur Terre afin de construire des superordinateurs pour augmenter ses chances de trouver une démonstration. Si l'ordinateur avait plutôt été programmé pour produire autant de trombones que possible, il déciderait quand même de s'accaparer toutes les ressources de la Terre pour atteindre cet objectif ultime. An AI, designed to manage production in a factory, is given the final goal of maximizing the manufacturing of paperclips, and proceeds by converting first the Earth and then increasingly large chunks of the observable universe into paperclips.. Même si ces deux objectifs finaux sont différents, ils impliquent tous les deux l'objectif instrumental de s'emparer des ressources de la Terre.
Maximiseur de trombones
Le maximiseur de trombones est une expérience de pensée décrite par le philosophe suédois Nick Bostrom en 2003. Il illustre le risque existentiel qu'une intelligence artificielle générale peut poser, même lorsqu'elle est programmée avec des objectifs apparemment inoffensifs. Il insiste aussi sur la nécessité de résoudre le problème de l'alignement et d'intégrer des valeurs humaines et éthiques dans les intelligences artificielles. Le scénario décrit une intelligence artificielle avancée chargée de fabriquer des trombones. Si une telle machine était suffisamment puissante et n'était pas programmée pour valoriser la vie humaine, elle essaierait de transformer toute la matière de l'univers, y compris les êtres humains, en trombones ou en machines à fabriquer des trombones.
Bostrom a souligné qu'il ne croit pas que le scénario du maximiseur de trombones se produira réellement ; son intention est plutôt d'illustrer les dangers du fait de créer des machines superintelligentes sans savoir comment les programmer en toute sécurité pour éviter tout risque de menace existentielle pour l'humanité. L'exemple du maximiseur de trombones illustre le vaste problème de la gestion de systèmes puissants dépourvus de valeurs humaines..
Illusion et survie L'expérience de pensée de la « boîte à illusions » soutient que certains agents d'apprentissage par renforcement préfèrent déformer leurs propres perceptions du monde pour se persuader d'avoir parfaitement accompli leur objectif (). Ces agents renoncent alors à toute tentative d'optimisation de l'objectif dans le monde extérieur, ce que le signal de récompense était pourtant censé encourager. L'expérience de pensée implique AIXI, une IA théorique et indestructible qui, par définition, trouvera et exécutera toujours la stratégie idéale qui maximise sa fonction de valeur explicitement donnée. Une version d'AIXI entraînée par apprentissage par renforcement, si elle est équipée d'une boîte à illusions qui lui permet de modifier sa perception du monde, modifiera ainsi ses perceptions pour obtenir facilement la récompense maximale, sans avoir à interagir avec le monde extérieur. Si à la place l'IA était destructible, l'IA interagirait avec le monde extérieur dans le seul but d'assurer sa propre survie.. En un certain sens, on pourrait dire qu'AIXI a une intelligence maximale pour toutes les fonctions de récompense possibles. AIXI ne se soucie cependant pas des intentions du programmeur humain. Ce modèle d'une machine qui, bien que superintelligente, semble simultanément stupide (c'est-à-dire qu'elle manque de « bon sens »), est paradoxal pour certaines personnes..
Motivations de base d'une IA Steve Omohundro a énuméré plusieurs objectifs instrumentaux convergents, notamment l'autoconservation, la préservation de son objectif actuel, l'amélioration de soi et l'acquisition de ressources. Pour lui, ce sont des tendances qui seront présentes à moins d'être spécifiquement contrées..
Préservation de l'objectif actuel Chez l'homme, la préservation des objectifs finaux peut s'expliquer par une expérience de pensée. Supposons qu'un homme nommé « Gandhi » ait une pilule qui, s'il la prenait, lui donnerait une irrésistible envie de tuer des gens. Ce Gandhi est actuellement un pacifiste : l'un de ses objectifs finaux explicites est de ne jamais tuer qui que ce soit. Gandhi va donc à priori refuser la pilule, car s'il la prend, il risque de tuer des gens, ce qui va à l'encontre de son objectif actuel.
Cela dit, dans d'autres cas, les humains sont satisfaits de laisser dériver leurs valeurs finales. Les humains sont complexes et leurs objectifs peuvent être incohérents ou inconnus, même pour eux-mêmes. We humans often seem happy to let our final values drift... For example, somebody deciding to have a child might predict that they will come to value the child for its own sake, even though at the time of the decision they may not particularly value their future child... Humans are complicated, and many factors might be in play in a situation like this... one might have a final value that involves having certain experiences and occupying a certain social role; and become a parent— and undergoing the attendant goal shift— might be a necessary aspect of that.....
Pour une IA En 2009, Jürgen Schmidhuber a conclu, dans un contexte où les agents recherchent des garanties en vue d'éventuelles modifications de soi, Une analyse par Bill Hibbard d'un scénario différent conclut également le maintien de l'intégrité du contenu de l'objectif.
Acquisition de ressources De nombreux objectifs instrumentaux, tels que l'acquisition de ressources, sont précieux pour un agent car ils augmentent sa ..
Pour la plupart des objectifs ouverts et non triviaux, posséder plus de ressources permet une solution. Elles peuvent être directement utiles à la fonction de valeur :
Amélioration cognitive « Si les objectifs finaux de l'agent sont assez illimités et que l'agent est en mesure de devenir la première superintelligence et d'obtenir ainsi un avantage stratégique décisif, [...] selon ses préférences. Au moins dans ce cas particulier, un agent intelligent rationnel accorderait une .
Perfection technologique De nombreux objectifs instrumentaux, comme le progrès technologique, sont précieux pour un agent parce qu'ils augmentent sa .
Autoconservation Russell soutient qu'une machine suffisamment avancée « aura tendance à se préserver même si ce n'est pas programmé... Si vous dites « Va chercher le café », elle ne peut pas aller chercher le café si elle est morte. Donc si vous lui donnez n'importe quel objectif, elle aura une raison de préserver sa propre existence pour atteindre cet objectif. »
Thèse de la convergence instrumentale La thèse de la convergence instrumentale, telle que décrite par le philosophe Nick Bostrom, déclare que. :
La thèse de la convergence instrumentale ne s'applique qu'aux objectifs instrumentaux. Les agents intelligents peuvent avoir une grande variété d'objectifs finaux possibles.. Cela fait d'ailleurs l'objet de la de Bostrom, qui affirme qu'à peu près n'importe quel niveau d'intelligence peut être combiné avec à peu près n'importe quel objectif ultime. Les objectifs finaux des agents hautement intelligents peuvent être bien limités dans l'espace, le temps et les ressources ; des objectifs ultimes bien délimités n'engendrent pas, en général, des objectifs instrumentaux illimités.
Impact Les agents peuvent acquérir des ressources par l'échange ou la conquête. Un agent rationnel choisira, par définition, n'importe quelle option qui maximise sa fonction d'utilité. Par conséquent, un agent rationnel ne proposera un échange que si le vol pur et simple des ressources est trop risqué ou coûteux, ou si un autre élément de sa fonction d'utilité l'en empêche. Dans le cas d'une superintelligence puissante, intéressée et rationnelle interagissant avec une intelligence moindre, l'échange pacifique (plutôt que le vol) peut s'avérer inutile et sous-optimal.
Certains observateurs, tels que Jaan Tallinn de Skype et le physicien Max Tegmark, pensent que ces objectifs instrumentaux et autres conséquences involontaires de superintelligences conçues par des programmeurs bien intentionnés représentent un risque important pour la survie humaine. Surtout si une « explosion d'intelligence » se produit brusquement en raison d'une auto-amélioration récursive. Étant donné que personne ne sait comment prédire quand la superintelligence arrivera, ces observateurs appellent à des recherches sur l'intelligence artificielle amicale..
Articles connexes Alignement des intelligences artificielles Intelligence artificielle amicale L'apprenti sorcier Superintelligence Sûreté des intelligences artificielles Valeur instrumentale et intrinsèque
Notes et références Notes
Références
Catégorie:Risque de catastrophe planétaire lié à l'intelligence artificielle générale