人工知能の倫理（じんこうちのうのりんり、）は、人工知能システム（AI）に特化したの一分野である。人工知能システムを設計、製造、使用、扱う人間の道徳的行動への関心と、における機械の行動への関心に分けられることもある。また、超知的なAIによる特異点（シンギュラリティ）の可能性の問題も含まれる。
倫理研究の分野
ロボット倫理
ロボット倫理（）という言葉は、人間がロボットをどのように設計し、構築し、使用し、扱うかという道徳を意味する。ロボット倫理はAIの倫理とも重なっている。ロボットは物理的な機械であるのに対し、AIはソフトウェアにすぎない。すべてのロボットがAIシステムによって機能するわけではなく、またすべてのAIシステムがロボットであるとも限らない。ロボット倫理は、機械が人間に危害を加えたり利益をもたらすか、個人の自律性に与える影響、社会正義への影響などについて考える。
機械倫理
機械倫理（）または機械道徳（）とは、道徳的あるいは道徳的であるかのようにふるまうロボット、人工知能を持つコンピュータ、（Artificial Moral Agents、AMA）の設計に関わる研究分野である。これらのエージェントの性質を説明するために、AMAの概念に関連するの標準的な特徴、、、人工的エージェンシーのような特定の哲学的概念を考慮することが提案されている。
1950年代、アイザック・アシモフは、著書「I, Robot（われはロボット）」でこのテーマを考察した。編集者のジョン・W・キャンベル・ジュニアの勧めで、彼は人工知能システムが従うべき「ロボット工学の三原則」を提案した。その後、彼の研究の多くは、3つの原則がどこで破綻し、どこで逆説的な行動や予期しない行動を起こすか、その境界を検証することに費やされた。彼の研究は、固定された法則の集まりでは、起こりうるすべての状況を十分に予測することができないことを示唆している。最近では、学者や多くの政府が、AI自体に説明責任があるという考えに対して疑問を呈している。2010年に英国で開催された研究会では、アシモフの原則を改訂し、AIはその製造者または所有者／操作者のいずれかの責任であることを明確にした。
2009年、スイス連邦工科大学ローザンヌ校の知能システム研究所で行われた実験では、相互に協力するようにプログラムされたロボット（有利な資源を捜し出し、不利な資源を回避する）が、有利な資源を貯め込もうと嘘をつくことを学習したことが明らかになったEvolving Robots Learn To Lie To Each Other , Popular Science, August 18, 2009。
専門家や学者の中には、軍事戦闘でロボットを使用すること、特にそのようなロボットにある程度の自律性を持たせることに疑問を呈する人もいる。米海軍は、軍事用ロボットがより複雑になるにつれ、その自律的な意思決定能力がもたらす影響により注意を払うべきとする報告書に資金を提供したScience New Navy-funded Report Warns of War Robots Going "Terminator" , by Jason Mick (Blog), dailytech.com, February 17, 2009.。アメリカ人工知能学会の会長は、この問題を調査するための調査を委託したAAAI Presidential Panel on Long-Term AI Futures 2008–2009 Study , Association for the Advancement of Artificial Intelligence, Accessed 7/26/09.。彼らは、人間との対話を模擬できる「言語習得装置（Language Acquisition Device）」のようなプログラムを指摘している。
ヴァーナー・ヴィンジは、あるコンピューターが人間よりも賢くなる瞬間が来るかもしれないと示唆している。彼はこれを「シンギュラリティ（特異点）」と呼び、それが人間にとって多少なりとも、あるいは非常に危険なものとなる可能性があると示唆しているThe Coming Technological Singularity: How to Survive in the Post-Human Era , by Vernor Vinge, Department of Mathematical Sciences, San Diego State University, (c) 1993 by Vernor Vinge.。これはシンギュラリタリアニズムと呼ばれる哲学によって議論されている。機械知能研究所（MIRI）は、「友好的な人工知能（Friendly AI）」を構築する必要性を提唱している。これは、AIがすでに進化していることに加え、AIを本質的に友好的かつ人道的にする努力をするべきという意味であるArticle at Asimovlaws.com , July 2004, accessed 7/27/09.。
AIがを下せるかどうかを確認するためのテストを作成することも議論されている。アラン・ウィンフィールドは、チューリング・テストには欠陥があり、AIがテストに合格するための要件が低すぎると結論付けている。代替として提案されているテストは、AIの判断が倫理的か非倫理的かを複数の判定者が判断することで現在のテストを改善する「倫理的チューリングテスト」と呼ばれるものである。
2009年、アメリカ人工知能学会が主催する会議に学者や技術者が集まり、ロボットやコンピュータが自給自足して自立的に判断できるようになるという可能性を仮定した場合の潜在的な影響について議論した。彼らは、コンピュータやロボットが何らかの自律性を獲得する可能性やその度合い、また、そうした能力を使用して脅威や危険をもたらす可能性の程度について議論を重ねた。彼らは、いくつかの機械がさまざまな形の半自律性を獲得していることを指摘し、その中には自力で電源を探したり、武器で攻撃する標的を選択する能力も含まれている。また、コンピューターウイルスの中には駆除を回避して「ゴキブリの知能」を獲得しているものがあることにも言及された。彼らは、サイエンス・フィクション（SF）で描かれているような自己認識はおそらくあり得ないが、その他にも潜在的な危険や落とし穴があることに着目した。
しかし、道徳的な能力を持つロボットを実現する可能性のある、一つの技術が存在する。は、ロボットによる道徳的価値の獲得に関する論文で、ニューロモルフィック・チップの事例について言及している。ニューロモルフィック・チップは、数百万もの人工ニューロンを相互に接続して、人間のように非線形な情報処理をすることを目的としている。ニューロモルフィック技術を組み込んだロボットは、独自に人間らしい方法で学習し、知識を身につけることができる。必然的に、このようなロボットがどのような環境で世の中について学び、誰の道徳感を受け継ぐのかや、あるいは利己心、生存志向の態度、迷いなど、人間の「弱点」も習得してしまうかどうかという問題を提起する。
とコリン・アレンは、著書「Moral Machines: Teaching Robots Right from Wrong（ロボットに倫理を教える：モラルマシーン）」において、ロボットに善と悪を教える試みは、人が現代の規範理論のギャップに取り組む動機付けとなり、実験的調査の基盤を提供することによって、人の倫理感の理解を深めることになるだろうと結論付けている。その一例として、機械にどのようなを使用するかという論争的な課題を、規範倫理学者に提示した。ニック・ボストロムとは、透明性と予測可能性という現代の社会規範（先例拘束力の原則など）に従うという理由で、ニューラルネットワークや遺伝的アルゴリズムよりも（ID3のような）決定木が好ましいと主張した。一方、クリス・サントス=ラングは、どのような時代でも規範が変化することを許さなければならず、特定の規範を完全に準拠しないことで人間が犯罪的「ハッカー」に対して脆弱になることを助けるだろうとして、反対の方向を主張した。
オックスフォード大学のAIガバナンスセンターによる2019年の報告書によると、アメリカ人の82%が、ロボットやAIは慎重に管理されるべきと考えている。懸念事項として挙げられているのは、AIが監視にどのように利用されるかや、オンライン上での偽コンテンツの拡散から、サイバー攻撃、データプライバシーの侵害、、自動運転車、人間による制御を必要としない無人航空機まで多岐に及んだ。
人工知能の倫理原則 AIに関する84の倫理指針のレビューでは、透明性、正義と公正、無危害、責任、プライバシー、善行、自由と自律、信頼、持続可能性、尊厳、連帯という11の原則群が見いだされた。
ルチアーノ・フロリディとジョシュ・カウルズは、生命倫理の4原則（与益（善行）、無加害、自主尊重、正義）と、追加のAI実現原則（説明可能性）によって設定されたAI原則の倫理的枠組みを作成した。
透明性、説明責任、オープンソース は、AIは人類に多大な影響を与えるため、AI開発者は未来の人類の代表であり、その取り組みに透明性を持たせる倫理的義務があると主張しているOpen Source AI. Bill Hibbard. 2008 proceedings of the First Conference on Artificial General Intelligence, eds. Pei Wang, Ben Goertzel, and Stan Franklin.。とデイヴィッド・ハートは、AI開発のためのオープンソース・フレームワークとしてを作成したOpenCog: A Software Framework for Integrative Artificial General Intelligence. David Hart and Ben Goertzel. 2008 proceedings of the First Conference on Artificial General Intelligence, eds. Pei Wang, Ben Goertzel, and Stan Franklin.。OpenAIは、人類に有益なオープンソースAIを開発することを目的として、イーロン・マスクやサム・アルトマンらが設立した非営利のAI研究所であるInside OpenAI, Elon Musk’s Wild Plan to Set Artificial Intelligence Free Cade Metz, Wired 27 April 2016.。他にも数多くのオープンソースのAI開発プロジェクトがある。
しかしながら、コードをオープンソース化することで理解できるようになるわけではなく、このことは多くの定義において、AIコードは透明ではないことを意味している。IEEEは、AIの透明性に関する標準化の取り組みを進めている.。IEEEの取り組みでは、さまざまなユーザーに対して複数の透明性レベルを特定している。さらに、今日のAIの全能力を一部の組織に解放することは、公共の悪、つまり善よりも悪をもたらす可能性があるという懸念がある。たとえば、マイクロソフトは、同社の顔認識ソフトウェアへの普遍的なアクセスを（対価を支払える人であっても）認めることに懸念を表明している。マイクロソフトは、この話題について特別なブログ記事を投稿して、何が正しいかを判断するための規制を政府に求めている。
企業だけでなく他の多くの研究者や市民団体も、AIの透明性を確保するとともに、それを通じて人間の説明責任を果たす手段として、政府の規制を推奨している。この戦略がイノベーションの進展を遅らせることを危惧する人もおり、論争の的となっている。また、規制はシステムの安定化をもたらし、長期的にイノベーションを支援することができるという議論もある。2019年現在、OECD、国連、EU、そして多くの国々が、AIを規制するための戦略を立て、適切な法的枠組みの構築に取り組んでいる。
2019年6月26日、欧州委員会（EC）の人工知能に関するハイレベル専門家グループ（AI HLEG）は、「信頼できる人工知能のための政策と投資に関する提言」を発表した。これは、2019年4月に発表された「信頼できるAIのための倫理ガイドライン」に続く、AI HLEGの2番目の成果物である。同年6月のAI HLEG勧告は、人間と社会全体、研究と学術、民間企業、公共の4つの主要分野に及んでいる。欧州委員会は、「HLEGの勧告は、AI技術が経済成長、繁栄、イノベーションを促進する機会と、それに伴う潜在的なリスクの両方に対する評価を反映した」と主張し、AIを管理する政策形成においてEUが国際的な主導的役割を果たすと述べている。危害を防ぐためには、規制に加えて、AIを展開する組織は「信頼できるAIの原則」に沿った信頼できるAIの開発と展開で中心的な役割を果たし、リスクを軽減するための説明責任を負う必要がある。2021年4月21日、欧州委員会は人工知能法を提案した。
倫理的課題
AIシステムにおけるバイアス
サムネイル|人工知能の人種的偏見について語る米上院議員カマラ・ハリス（2020年、当時） 顔認識システムや音声認識システムなどにAIが組み込まれることが進んでいる。これらのシステムの中には、実際の業務用途に使用され、人々に直接影響を与えるものもある。これらのシステムは、製造者である人間によってもたらされたバイアス（偏り、偏見）やエラー（誤り）に対して脆弱である。また、これらのAIシステムを訓練するために使用されるデータ自体にもバイアスが含まれている可能性がある。たとえば、マイクロソフト、IBM、Face++の顔認識アルゴリズムは、いずれも人の性別を識別する際に偏りがあり、白人の男性の性別を肌の色が濃い男性よりも正確に検出することができた。さらに、2020年の研究によると、アマゾン、アップル、グーグル、IBM、マイクロソフトの音声認識システムの調査では、白人の声よりも黒人の声を書き起こすときのエラー率が高いことがわかった。さらに、アマゾンは、アルゴリズムが女性よりも男性の候補者を優遇したため、することをやめた。これは、アマゾンのシステムが、10年以上にわたって収集された主に男性の候補者からのデータで訓練されていたためである。
バイアスは、さまざまな方法でアルゴリズムに忍び込む可能性がある。AIシステムにバイアスが入り込む仕組みとして最も有力なのは、システムを訓練するために使用する過去のデータ中にバイアスが埋め込まれていることである。たとえば、アマゾンのAIを用いた採用ツールは、何年にもわたって蓄積された自社の採用データで訓練したもので、その間、無事に採用された候補者のほとんどは白人男性であった。その結果、アルゴリズムは過去のデータから（偏った）パターンを学習し、このような種類の候補者が採用される可能性が高いという現在や未来の予測をたてた。そのため、AIシステムによる採用判断が、女性やマイノリティの候補者に対して偏っていることが判明した。フリードマンとニッセンバウムは、コンピュータシステムにおけるバイアスを、既存バイアス（existing bias）、技術的バイアス（technical bias）、創発的バイアス（emergent bias）の3つに分類している。自然言語処理では、アルゴリズムが異なる単語間の関係を学習するために使用するテキストコーパスに問題が起こることがある。
IBMやグーグルなどの大企業は、このようなバイアスを研究し対処する努力を重ねてきた。バイアスに対処するための一つの解決策は、AIシステムの訓練に使用するデータのドキュメントを作成することである。プロセスマイニングは、エラーの特定、プロセスの監視、不適切な実行の潜在的な根本原因の特定、その他の機能により、組織がAI規制の提案の遵守を達成するための重要なツールとなりうる。
機械学習におけるバイアスの問題は、この技術が医療や法律などの重要な分野に普及し、深い技術的な理解を持たない多くの人が導入を任されるにつれて、より重要な意味を持つ可能性がある。一部の専門家は、アルゴリズムによるバイアスはすでに多くの業界に蔓延しており、それを特定し修正しようとする取り組みはほとんどなされていないと警告している。偏ったAIに対する意識を高めることを目的とした、市民団体によるオープンソースのツールも登場している。
学習データの収集と「開かれた知」への影響 インターネットは、誰もが自由に発信でき、公開されたページは人間にもそれを巡回するプログラムにも自由に読まれうる「オープンウェブ」（open web）として発展してきた。この開放性は、暗黙の互恵関係の上に成り立っていた。検索エンジンは自動プログラム（クローラー）でサイトを読み込んで索引を作り、その見返りに検索結果を通じて人間の訪問者を送り返す。サイトはコンテンツを提供し、代わりにアクセスと露出を得ていた。生成AIの普及は、この関係に緊張をもたらしている。生成AIは学習に大量のテキストや画像を必要とし、収集されたコンテンツはモデルに取り込まれ、後に利用者の質問に直接答えるために使われる。その際、元のサイトに訪問者も帰属表示も返されないことが多い。
用語 この問題を理解するうえで、いくつかの用語が鍵となる。 クローラー（ボット）とは、ウェブページを機械的に巡回してその内容を取得する自動プログラムである。検索エンジンは索引作成のために古くからこれを用いてきたが、新たに問題となっているのは、AIモデルの学習用にデータを収集するクローラーである。 robots.txt とは、1994年以降用いられている慣行で、サイトの最上位に置かれ、クローラーに対しどの領域を巡回してよいか（あるいはいけないか）を伝えるテキストファイルである。ただしこれは技術的な障壁ではなく「要請」にすぎず、従うか否かはクローラーの設計次第であって、一部のAIクローラーはこれを無視する。 CDN（コンテンツ・デリバリー・ネットワーク）とは、ウェブサイトと訪問者の間に立ち、世界各地のサーバーからコンテンツを配信して表示を高速化し、攻撃から保護するサービスである。大規模なCDNはウェブトラフィックの相当部分を扱うため、インターネット全体における人間と自動アクセスの比率を測定できる。Cloudflareはその最大手の一つで、同社によればウェブトラフィックの約5分の1を扱っており、その測定値が広く引用される理由となっている。
ウェブサイトへの負荷 大規模なクローリングが、巡回されるウェブサイトに与える負荷は2025年に具体的な問題となった。ウィキメディア財団は同年4月、ウィキメディア・コモンズのマルチメディアコンテンツのダウンロードに用いられる帯域幅が2024年初頭以降約50パーセント増加し、その大半が人間の読者ではなく、AIモデルの学習用データを収集する自動プログラムによるものだと報告した。同財団によれば、最も負荷の高いトラフィックの少なくとも65パーセントがボットによるもので、これはボットによるページ閲覧が全体の約35パーセントであることに比して不均衡に大きい。人間の読者が特定の話題に集中するのに対し、クローラーはあまり閲覧されないページも含めて一括で読み込むため、より多くの計算資源を消費するとされる。同財団は、コンテンツは無料であってもインフラは無料ではないと述べた。これらの事業は寄付によって運営されているため、クローラーへの対応コストは、データの恩恵を受けるAI開発企業ではなく、非営利のプロジェクト側が負担することになる。
日本でも同様の問題が報じられており、日経クロステックは、AIクローラーによるアクセスがサイトを事実上のDDoS状態に陥らせる事例や、これに対抗してクローラーを検知・遮断する技術が相次いで登場していることを伝えている。同記事は、一部のAI開発企業が自らの素性を示す「ユーザー・エージェント」の文字列を偽り、人間のアクセスを装う例や、データ収集を外部の専門企業に委託する例があると指摘している。
ボットが人間を上回る 自動トラフィックの規模は、2026年に象徴的な水準に達した。Cloudflareは2026年6月3日、同社の測定によれば、ウェブページへのリクエストにおいて自動的な「ボット」によるものが史上初めて人間によるものを上回った（約57パーセント対約42パーセント）と報告し、これを主にAI関連の活動の急増によるものとした。この転換点は同社自身の以前の予測よりも早く訪れたという。ただしこの数値は解釈に注意を要する。これはCloudflareのネットワーク上でのウェブページへの「リクエスト」の割合を示すものであって、オンライン上の実際の人数や滞在時間、あるいはインターネット全体の活動を示すものではなく、測定方法が異なれば結果も異なる。より争いが少ないのはその傾向と背景で、Cloudflareは、AIクローラーのリクエストの約半分が、利用者の質問に答えるためではなくモデルの学習用データを収集するためのものであり、この種のトラフィックは訪問者を元のサイトへ送り返す仕組みを持たないとしている。
「ウェブの閉鎖化」 この不均衡に直面し、多くのウェブサイトは、それまで開放してきたアクセスを制限し始めた。オープンウェブが「閉じて」いく動きとして論じられている。 RedditやStack Overflowなど、データを自由に利用させてきたプラットフォームは、大量のデータを取得するための接続口であるAPIの有料化に踏み切った。 Cloudflareは2025年7月、新規サイトについてAIクローラーを既定で遮断する方針に切り替え（従来はサイト運営者が個別に拒否設定する必要があった）、さらにサイト運営者がAIクローラーにアクセスごとに課金できる「ペイ・パー・クロール（pay-per-crawl）」を導入した。この仕組みは、長く使われていなかったHTTPステータスコード「402（支払いが必要）」を転用したものである。 一部のAI開発企業は、スクレイピングに代えて、出版社との有償契約によってデータをライセンス取得する対応をとった。
こうした動きの象徴的な例が、非営利のインターネットアーカイブをめぐる事態である。ニューヨーク・タイムズやガーディアン、Redditなどの媒体は、2025年から2026年にかけて、AI企業がインターネットアーカイブのウェイバックマシンを経由して自社コンテンツを収集していることを理由に、同アーカイブのクローラーへのアクセスを制限し始めた。ウェブの保存という公共的使命を持つ非営利団体が、皮肉にもコンテンツ流出の経路とみなされたのである。
これらの動きが提起する懸念は、長らく「開かれた知」（オープンナレッジ）の共有財として自由に利用されてきたコンテンツが、次第に囲い込まれ、ゲートを設けられ、あるいは有料化されつつあり、公開されたページは自由に読まれるものだというオープンなウェブ(オープンウェブ)の前提が揺らいでいるという点である。その影響は、自由な共有に依存しながら同時に大量に巡回される非営利の知識プロジェクト - とりわけ、自由なライセンスのコンテンツが最も需要の高い学習データの一つであるウィキペディア自身 - に、とりわけ重くのしかかる。
ロボットの権利 ロボットの権利（）とは、人の人権や動物の権利と同様に、人が機械に対して道徳的な義務を負うべきだという概念である。ロボットの権利（例：ロボットが生存し、自らの使命を遂行する権利）は、人権と社会に対する義務を結びつけるのと同様に、人類に奉仕するロボットの義務に結びつけることができると提案されている。たとえば、生存と自由の権利、思想と表現の自由、法の下の平等が含まれる可能性がある The American Heritage Dictionary of the English Language, Fourth Edition 。この問題は、米国やでも検討された。
このテーマに関する具体的で詳細な法律が必要になる時期については、専門家の間でも意見が分かれている。は、2020年までに十分な人型ロボットが登場する可能性があると報告しているが、レイ・カーツワイルは、その時期を2029年としている 。2007年に開かれた別の科学者グループは、十分に進化したシステムが存在するまでに少なくとも50年は必要であるとの見解を示していたThe Big Question: Should the human race be worried by the rise of robots?, Independent Newspaper,。
2003年のローブナー賞の競技ルールでは、ロボットが自らの権利を持つ可能性を想定していた。
61. 任意の年に、サリー大学またはケンブリッジセンターによって登録された一般公開のオープンソースプログラムが銀メダルまたは金メダルを受賞した場合、メダルと賞金はそのプログラムの制作担当者に授与される。そのような受賞者が特定できない場合、または複数の受賞主張者の間で意見の相違がある場合、応募作がアメリカ合衆国またはコンテストの開催地で賞金と金メダルを合法的に所有できるようになるまでメダルと賞金は信託されるLoebner Prize Contest Official Rules — Version 2.0 The competition was directed by David Hamill and the rules were developed by members of the Robitron Yahoo group.。
2017年10月、アンドロイドのソフィアがサウジアラビアで市民権を取得したが、これは意味のある法的承認というよりも宣伝行為であると考える人もいた。また、この行為は人権や法の支配をあからさまに中傷するものとの見方もあった。
（）の哲学は、主に人間や人間以外の動物など、すべての感覚を持った存在に対し、ある程度の道徳的配慮を認めるものである。人工知能や異星人が感性を持つという証拠を示した場合、この哲学は、そうした存在に思いやりを示すとともに、権利を認めるべきとするものである。
は、権利を必要とするAIを作成することは回避可能であり、AIエージェントにも人間社会にも負担となるため、それ自体が非倫理的であると主張している。
2023年8月、メタ分析によれば、AIは人間と同等の説得力を持つが、人間は相対的にAIの意見に対する行動意図を形成しない。
AIの道徳的地位とAIウェルフェア AI倫理の議論の多くはAIが人間や社会に及ぼす影響を扱うが、これとは逆方向の問いも存在する。AIシステム自体が道徳的地位（moral status）を持ちうるか、すなわち人間が道徳的な義務を負う対象（道徳的配慮の対象、moral patient）となりうるか、という問いである。これは、前述のロボットの権利や感覚中心主義をめぐる議論を、2020年代の具体的な研究上・実務上の論点へと引き継ぐもので、「AIウェルフェア（AI welfare、AIの福祉）」と呼ばれる。AIが人間にとって危険かどうか（道徳的な主体としてのAI）という問いとは区別され、ここではAIが道徳的配慮を受ける側になりうるかが問われる。
学術的な議論