AIセーフティ () は、人工知能 (AI) がもたらす事故や誤用など、リスク低減する方法等に関わる学際的な研究分野。日本語では「AIの安全性」とも呼ばれる。AIアライメント、AIシステムにおけるリスクの監視、そして堅牢性の向上などが含まれる。
AIセーフティには、技術研究を超えて、安全性を促進する規範や政策の策定も含まれる。2023年には、生成AIの急速な進歩や、研究者やCEOがAIの潜在的な危険性に関する懸念を表明したことを受け、AIセーフティは大きく注目された。2023年のAI安全性サミットでは、米国と英国がそれぞれ独自のAIセーフティ・インスティテュート (AISI) を設立し、日本も2024年2月14日にこれを設立した。しかし、研究者の間では、AIの能力の急速な発展に対してAIの安全対策が追いついていないことが懸念されている。
専門家らの議論と見解 学者らは、重要システムの障害、アルゴリズムバイアス、AI監視システムを使うことによるプライバシーの侵害など、現在のリスクに加え、技術的失業、AIによる心理操作、兵器化、AIを活用したサイバー攻撃、バイオテロなどの新興リスクについても議論をしてきた。また、将来において汎用人工知能 (AGI) が制御不能になったり、 AIが永続的に安定した独裁政権を可能にするというような理論上のリスクについても議論されてきている。
人類の存続に関わる安全性
汎用人工知能 (AGI) に関する懸念を批判する学者もいる。例えば、アンドリュー・ンは2015年に、AGIに対する懸念を「まだ火星に足を踏み入れてもいないのに、火星の人口過密を心配する」ことに例えた。一方、スチュアート・ラッセルは、「人間の創意工夫を過小評価するよりも、それに備えておいた方がよい」と主張し、慎重な姿勢を促している。
AI研究者の間でも、AI技術がもたらすリスクの深刻さや主な原因について、意見が大きく異なっている。しかし、以下に示す調査結果によると、専門家はAIの重大なリスクを真剣に受け止めているようであることがわかる。AI研究者を対象とした2つの調査では、回答者の中央値はAIについて全体として楽観的であったものの、高度なAIが「極めて悪い（例：人類の絶滅）」結果をもたらす可能性を5％と回答した。自然言語処理学者を対象とした2022年の調査では、AIの判断が「全面核戦争と同程度かそれ以上の」大惨事につながる可能性はあるかという質問に、回答者の約37％が「そう思う」または「どちらかといえばそう思う」と回答した。
歴史
AIのリスクについては情報化時代の到来とともに真剣に議論されるようになった。 1988年、は、Artificial intelligence: a handbook of professionalism を発表し、倫理的で社会的責任を負ったAI開発の必要性を訴えた。
2008年から2009年にかけて、AAAI（アメリカ人工知能学会）は、AI開発の長期社会的影響を探り対処するための研究を専門家グループに依頼した。専門家の多くはSFの著者によって表明された急進的な見解に懐疑的だったが、「予期しない結果を最小限に抑えるため、複雑な計算システムの行動範囲を理解し、検証する方法をさらに研究する価値はある」と同意した。
2011年、は、Philosophy and Theory of Artificial Intelligence（人工知能の哲学と理論）と題された会議で「AI safety engineering (AI安全工学) 」という用語を導入し、AIによる事故事例をリスト化し、「AIの能力が高まるにつれて、失敗の頻度と深刻さが着実に増加する」と主張した。
2014年、哲学者のニック・ボストロムは、Superintelligence: Paths, Dangers, Strategiesを出版した。同書でニックは、 汎用人工知能 (AGI) の台頭は、技術的失業、政治および軍事構造の操作、人間の絶滅の可能性まで、さまざまな社会的問題を生じさせる可能性があるという意見を表明した。将来の高度なシステムが人間の存在に対する脅威をもたらす可能性があるという彼の主張は、イーロン・マスクやビル・ゲイツのような人々に影響を与えている。スティーヴン・ホーキングもニックと同じような懸念を表明している。
2015年、スティーヴン・ホーキングやイーロン・マスクなどと数十人のAIの専門家が、AIの社会的影響と具体的な方向性の概要に関する研究に関する「Research Priorities for Robust and Beneficial Artificial Intelligence (ロバストで有益な人工知能のための研究のプライオリティ) 」に署名した。現在に至るまでに、この公開書簡はヤン・ルカンやヨシュア・ベンジオ、スチュアート・ラッセルを含む8000人以上の人々によって署名されている。
同年、スチュアート・ラッセル教授の研究チームは、カリフォルニア大学バークレー校に人間互換人工知能センターを設立し、人工知能が安全で倫理的かつ有益なままであり続けることを目的とした研究に650万ドルの助成金が与えられた。
2016年、ホワイトハウス科学技術政策局とカーネギーメロン大学は、人工知能の安全性と管理に関する公開ワークショップを発表した。これは、AIの「利点と欠点」を調査することを目的としたホワイトハウスが開催する4つのワークショップの1つであった。 同年、AIセーフティに関する最初にして最も影響力のある技術的アジェンダの1つである「Concrete Problems in AI Safety」が出版された。
2017年1月、カリフォルニア州アシロマに、全世界からAIの研究者と経済学、法律、倫理、哲学の専門家が集まり、「人類にとって有益なAIとは何か」というテーマで5日間にわたって議論が行われた ()。その成果として2017年2月3日に「アシロマ AI 23原則 (Asilomar AI Principles)」が発表された。この原則は、AIの研究、倫理・価値観、将来的な問題の3つの分野に関して、研究開発のあり方、安全基準の遵守、透明性の確保、軍拡競争の防止、プライバシーと人格の尊重など、幅広い視点からの提言がなされた。強制力こそないものの、この原則にはスティーヴン・ホーキング、イーロン・マスクや、シンギュラリティ大学の創設者レイ・カーツワイルのような支持者がいる。
2021年には、Unsolved Problems in ML Safety が発表された。この文書では、機械学習 (ML) システムを扱うことで発生するリスクを低減させるための具体的な研究指針として、堅牢性、モニタリング、アライメント、システム全体の安全性が示された。
イギリスのリシ・スナク首相は、2023年に英国を「世界のAI安全規制の知的拠点だけでなく、地理的な拠点にする」と表明し、AIセーフティに関する初の国際サミットを主催したいと述べた。そしてAI安全性サミットが2023年11月に開催され、最先端のAIモデルに関連する不適切な利用や制御の喪失のリスクに焦点を当てた議論が行われた。サミットでは、先進AIの安全性に関する国際科学報告書を作成する意向が発表された Alt URL。
2024年11月にブレッチリー・パークで開催されたAI安全性サミットで発表されたコミットメントに基づき、2024年4月1日、ジーナ・レモンド米国商務長官とミシェル・ドネラン英国科学・イノベーション・技術相は、高度なAIモデルを共同で開発するための覚書に署名し、米国と英国はAIセーフティに関する研究において新たなパートナーシップを締結した。
2025年、ヨシュア・ベンジオを議長とする96名の専門家からなる国際チームが、初の国際AI安全報告書（International AI Safety Report) を発表した。これは、30の国と国連の委託を受け作成された、高度なAIに伴う潜在的なリスクに関する初の国際的な科学的報告書である。この報告書は、AIの不適切な利用、誤動作、そして社会の混乱に起因する潜在的な脅威を詳細に記述しており、具体的な勧告は示さず、根拠に基づく科学的知見に基づいて政策提言を行うことを目指している。
日本において
2019年
3月29日、日本は世界に先駆けて「人間中心のAI社会原則」を公表した。この原則では3つの基本理念を掲げる。 人間の尊厳が尊重される社会 多様な背景を持つ人々が多様な幸せを追求できる社会 持続性ある社会)
また、7つのAI社会原則を示した。 人間中心の原則 教育・リテラシーの原則 プライバシー確保の原則 セキュリティ確保の原則 構成競走確保の原則 公平性、説明責任及び透明性の原則 イノベーションの原則
2023年
5月、G7広島サミットが開催され、G7の関係閣僚が中心となり、AIの活用や開発、規制に関する国際的なルール作りを推進するため、「広島AIプロセス」の枠組みが整えられた。また、10月30日にはこれに基づく「広島AIプロセスに関するG7首脳声明」が発出された。
2024年
2月14日、英国と米国に続き日本もAIセーフティ・インスティテュート（AISI）を設立した。
4月19日、AIの安全安心かつ有効な活用が促進されるよう、AIの開発・提供・利用に当たっての必要な取組みについて基本的な考え方を示すため経済産業省は「AI事業者ガイドライン」を発表した。
9月18日、AISIは「AIセーフティに関する評価観点ガイド」を公表した。
2025年
3月26日、AISIは、AIセーフティの普及に向け、AIセーフティの要点を簡単にまとめた「AIセーフティ・アプローチブック」を公表した。
4月15日、GPAI（Global Partnership on AI、AIに関するグローバル・パートナーシップ）東京専門家支援センターは、生成AIの安全性と保証に関するプロジェクトの一環で、アラブ首長国連邦の行政学校MBRSGと連携し、汎用AIの安全性に関するツールキットを開発したことを発表した。
5月27日、デジタル庁は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」を公表し、政府業務における生成AI導入の基準を初めて明文化した。このガイドラインでは、各府省に「Chief AI Innovation Officer（CAIO）」と呼ばれる役職を置く義務を明示した。あわせて、デジタル庁には技術・倫理の専門家で構成される「先進的AI利活用アドバイザリーボード」が設置された。
5月28日、「人工知能関連技術の研究開発及び活用の推進に関する法律」が参議院本会議で可決、成立し、6月4日に施行された。この法律は、国際的な原則を踏まえつつ、AIの活用における革新と安全対策を両立させ、日本をAIの先進的な利用環境にすることを狙いとして、関係主体の責務や国の施策を定めている。
研究の焦点 AIの安全性に関する研究分野には、AIシステムの堅牢性の向上、モニタリング、アライメントが含まれている。
堅牢性
敵対的ロバストネス AIは、敵対的サンプル、つまり「攻撃者が意図的にモデルに誤りを生じさせるように設計した機械学習モデルへの入力」に対して脆弱であることが多い。たとえば、2013年にらは、画像に特定の摂動 (人間にはわからないようなわずかなノイズ) を加えると、高い信頼性で誤分類される可能性があることを発見した。 右|サムネイル|慎重に作成されたノイズを画像に加算すると、高い信頼性で誤分類される可能性がある。 例として、右図のビーグル犬の画像（左）をAIに入力すると高確率で正しくビーグル犬だと分類されるとする。この画像に摂動データ（中央）を加算した敵対的サンプル画像（右）は、人間の目には変化がないとしてもAIにはダチョウに誤認されるようになることがある。報酬モデル (AIが学習する際に、どの行動が「良い」と評価されるかを定義する仕組み) も敵対的攻撃に対して堅牢でなければならない。たとえば、与えられた質問に対する言語モデルの回答がどれだけ役立つかを報酬モデルに推定させ、そのスコアを最大化するように言語モデルをトレーニングする、というような活用がある。しかし、言語モデルを長期間トレーニングさせると、報酬モデルの脆弱性に乗じる方法で良いスコアを達成し (報酬ハッキング)、本来意図したタスクのパフォーマンスを低下させることがある。このような問題を解決するには報酬モデルの敵対的ロバストネスを向上させる必要がある。より一般的に、他のAIシステムを評価するために使用されるあらゆるAIシステムは、敵対的攻撃に対する耐性を備えていなければならないと言える。監視ツールもより高い報酬を得るために改ざんされる可能性があるため、同様のことが当てはまる。
モニタリング
不確実性の推定 特に医療診断などの重要な場面では、人間のオペレーターがAIシステムをどの程度信頼すべきか判断することが重要になる。MLモデルは一般的に確率を出力することで結果の信頼度を示すが、信頼度を過剰に高く見積もることが多く、特に訓練で想定されたのとは異なる状況においてその傾向が高い。較正研究は、モデルが示す確率を真の割合にできるだけ近づけることを目的としている。
同様に、異常検知、つまり分布外検知（OOD）は、AIシステムが異常な状況にある場合にそれを特定することを目的としている。例えば、自動運転の車のセンサーに不具合が生じた場合や、自動制御が困難な地形に遭遇した場合、ドライバーに制御を引き継ぐか、路肩に停車するよう警告する必要がある。異常検知は、異常な入力と異常でない入力を区別するように訓練した分類器として実装された例があり、その他にもさまざまな技術が使用されている。
悪意のある使用の検出 学者や政府機関は、AIシステムが悪意のある行為者による兵器の製造や世論操作、サイバー攻撃の自動化などに利用される可能性があると懸念を表明している。特に、強力なAIツールをオンラインでホストするOpenAIのような企業にとっては現実的かつ重大な懸念事項である。悪用を防ぐために、OpenAIはユーザーの活動に基づいて警告を行ったり、制限したりする検出システムを構築した。
透明性 AIの透明性とは、AIの意思決定プロセスの仕組みや、使用されているデータを理解することを指す。
透明性がない、つまりブラックボックスであると説明されてきた例としてニューラルネットワークが挙げられる。なぜなら、計算の数が膨大であり、計算過程や根拠がないため、なぜそのような決定がくだされるのか理解することは簡単ではないからである。そのため、バグや不具合、故障を予測することは困難である。2018年、自動運転車が歩行者を認識できなかったために死亡事故が起きた。しかし、前述のようにAIソフトウェアはブラックボックスであるため、故障の原因は依然として不明である。また、医療分野では、統計的効率は高いが不透明なモデルを使用すべきかどうかという議論が起こっている。
透明性の重要な利点は2つあり、1つは説明可能性である。たとえば求人応募の自動フィルタリングや信用スコアの割り当てなど、決定が下された理由を説明することができる。また、このような説明は公平性を保つため法的に義務付けられている場合もある。
もう一つの利点は、失敗の原因を明らかにできることである。2020年の新型コロナウイルスによるパンデミックの初期に、研究者は透明性ツールを使用して、医療画像分類器が無関係な病院のラベルに「注意を払っている」ことを示した。
また、透明性技術はエラーの修正にも活用できる。例えば、Locating and Editing Factual Associations in GPT (GPTにおける事実的関連性の位置決めと編集) という論文では、著者らはエッフェル塔の所在地に関する質問への回答に影響を与えるモデルパラメータを特定した。そして、この知識を「編集」することで、モデルが質問に対して、塔がフランスではなくローマにあると認識しているかのように回答させることに成功した。このケースでは著者らはエラーを誘発したが、これらの手法はエラーを効率的に修正するために使用できる可能性がある。モデル編集技術はコンピュータービジョンにも存在する。
AIシステムの不透明性は大きなリスク源であり、その機能をより深く理解することで、将来的に重大な障害を防ぐことができると主張する者もいる。「内部」解釈可能性研究は、機械学習モデルの不透明性を低減することを目的としている。この研究の目標の一つは、内部ニューロンの活性化が何を表しているかを特定することである。例えば、研究者らは、スパイダーマンのコスチュームを着た人々の画像、スパイダーマンのスケッチ、および「スパイダー」という単語に反応するCLIPのニューロンを特定した。また、これらのニューロン（回路）間の接続を説明することも含まれる。たとえば、2022年、言語モデルがコンテキストから学習する方法に影響を与える可能性のある、Transformerのアテンション機構のパターンマッチングメカニズムが特定された。また、「内部解釈可能性」は神経科学と比較されることもあった。どちらの場合も、複雑なシステムで何が起こっているかを理解することが目標だが、機械学習研究者には完璧な測定と任意にアブレーション分析を行うことができるという利点がある。
トロイの木馬の検出 機械学習モデルには、トロイの木馬やバックドアが潜んでいる可能性がある。これは、AIシステムに悪意を持って組み込まれる脆弱性である。例えば、トロイの木馬が仕込まれた顔認識システムは、特定の宝石が視界に入っただけでアクセスを許可する可能性がある。また、トロイの木馬が仕掛けられた自動運転車は、特定のトリガーが検知されると異常動作する可能性がある。トロイの木馬を植え付けるには、攻撃者がシステムのトレーニングデータにアクセスできる必要がある。CLIPやGPT-3などの一部の大規模モデルは、web上のインターネットデータでトレーニングされているため、これにアクセスするのはそう難しくない。ある研究者グループは、300万枚のトレーニング画像のうちわずか300枚を変更するだけで、画像分類装置にトロイの木馬を埋め込むことに成功した。一部の研究者らは、トロイの木馬はセキュリティリスクをもたらす一方、より優れた監視ツールのテストおよび開発をするための具体的な環境を提供してくれると主張している。
2024年にAnthropicが発表した研究論文では、大規模言語モデルへの学習を通じて永続的なバックドアを植え付けられることが示された。これらのスリーパーエージェントモデルは、特定の日付までは正常に動作し、特定の日付以降に悪意のある出力（脆弱なコードなど）を生成するようにプログラムすることができる。教師あり学習、強化学習、敵対的学習といった標準的なAI安全対策では、これらのバックドアを除去することはできなかった。
AIアライメント
システムの安全性と社会技術的要因 AIのリスク (およびより一般的には技術リスク) は、一般に誤用または事故として分類される。しかし、一部の学者は、この枠組みでは不十分だと指摘している。たとえば、キューバ危機は明らかに事故や技術の誤用によるものではなかった。政策アナリストのレムコ・ズウェッツルートとアラン・ダフォーは、「誤用や事故という観点は、被害に至る因果関係の連鎖の最終段階、つまり技術を誤用した人物や意図しない動作をしたシステムにのみ焦点を当てる傾向がある。しかし、多くの場合、関連する因果関係の連鎖ははるかに長い」と述べている。リスクは、競争圧力、被害の拡散、急速な発展、高い不確実性、不十分な安全文化といった「構造的」または「体系的」な要因から生じることが多い。安全工学のより広い文脈では、「組織の安全文化」などの構造的要因が、一般的なSTAMPリスク管理で中心的な役割を果たす。
一部の研究者は構造的視点に触発され、サイバー防御、組織的な意思決定の改善、協力の促進などのために機械学習を使用することで、より広い社会工学的な安全要因を改善する重要性を強調している。構造上の脆弱性に対処するために、設計プロセスにAI実践者とドメイン専門家の両方を関与させることの重要性を強調する人もいる。
サイバー防御 一部の学者は、AIによって、サイバー攻撃技術と防御技術の不均衡がさらに悪化するのではないかと懸念している。これは「先制攻撃」のインセンティブを高め、より攻撃的で不安定化をもたらすサイバー攻撃につながる可能性がある。そのため、このリスクを軽減するために、一部の学者はサイバー防御の強化を主張している。さらに、強力なAIモデルの盗難や悪用を防ぐためには、ソフトウェアセキュリティの向上が不可欠である。最近の研究では、AIは日常的なタスクを自動化し、全体的な効率を向上させることで、技術的および管理的なサイバーセキュリティタスクの両方を大幅に強化できることが示されている。
組織の意思決定の改善 経済および軍事分野におけるAIの進歩は、前例のない政治的課題を引き起こす可能性がある。研究者の中には、破滅的な事態を回避する手段が少数の意思決定者の判断に委ねられていた冷戦時代を例に挙げて、AI時代において組織的な意思決定プロセスを改善することの重要性を強調する者がいる。AI研究者は、AI技術は意思決定を助けるためにも使用できると主張している。例えば、研究者たちはAIによる予測システムや助言システムの開発を始めている。
協力の促進 地球規模の最大の脅威（核戦争、気候変動など）の多くは、国際協調にとっての課題として捉えられてきた。それは、よく知られている囚人のジレンマのシナリオのように、たとえすべてのプレイヤーが自己利益のために最適に行動していたとしても、それはすべての人にとって悪い結果をもたらす可能性があるためである。
AI協力における顕著な課題のひとつは、「底辺への競争」がおこるシナリオを回避することである。このシナリオでは、各国や企業がより高性能なAIシステムの構築に競い合い、安全性を軽視することで、関係者全員に損害を与える壊滅的な事故が引き起こされる。このような懸念から、人間同士、そして将来的にはAIシステム間の協力を促進するための、政治的および技術的な取り組みが活発化している。 ほとんどのAI研究は、独立した機能を(多くの場合、「シングルプレイヤー」ゲーム環境において)提供する個々のエージェントの設計に重点を置いている。しかし学者たちは、AIシステムがより自律的になるにつれて、それらの相互作用の仕方を研究し、形づくることが重要になるかもしれないと示唆している。
大規模言語モデルの課題 近年、大規模言語モデル（LLM）の開発は、AIセーフティの分野において特有の懸念を引き起こしているBender, E.M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜. FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610-623. https://doi.org/10.1145/3442188.3445922.。ベンダーとゲブルらの研究グループは、これらのモデルの学習に伴う環境および財務コストに注目し、Transformerモデルのような学習手順におけるエネルギー消費量と二酸化炭素排出量が相当に大きくなる可能性があることを強調している。さらに、これらのモデルは、しばしば大規模でキュレーションされていないインターネットベースのデータセットに依存しており、覇権的で偏った視点が組み込まれ、発言力が低いマイノリティ集団をさらに疎外する可能性があるとしている。大規模な学習データは膨大であっても多様性を保証するものではなく、特権階級の世界観を反映していることが多く、既存の偏見やステレオタイプを永続させるモデルにつながる。この状況は、これらのモデルが一見首尾一貫していて流暢なテキストを生成できることでさらに悪化し、実際には意味や意図がないのにユーザーを誤解させ、意味や意図を推測させる可能性がある。この現象は確率的オウムという。したがって、これらのモデルは、社会的偏見を増幅させ、誤情報を拡散させ、過激なプロパガンダやディープフェイクの作成といった悪意のある目的に利用されるリスクをはらんでいる。これらの問題に対処するため、研究者たちはデータセットの作成とシステム開発においてより慎重な計画を提唱し、公平な技術的エコシステムの実現にプラスの影響を与える研究プロジェクトの必要性を強調しているStrubell, E., Ganesh, A., & McCallum, A. (2019). Energy and Policy Considerations for Deep Learning in NLP. arXiv preprint arXiv:1906.02243.Schwartz, R., Dodge, J., Smith, N.A., & Etzioni, O. (2020). Green AI. Communications of the ACM, 63(12), 54-63. https://doi.org/10.1145/3442188.3445922.。
LLM特有の課題は、セキュリティ上の脆弱性にも及んでいる。これには、プロンプトインジェクション、誤情報生成、モデル窃取などが含まれ、これらは悪用されてLLMの本来の機能を侵害する可能性がある。これにより、攻撃者は安全対策を回避し、想定されていない応答を引き出すことが可能になる。
AIガバナンス thumb|2023年11月に開催された第1回AI安全性サミット AIガバナンスとは、AIの開発と応用に関して適切な倫理的・法的・社会的基準を設け、リスクを抑制するための監督・管理の枠組みであり、AIシステムの使用と開発を導くための規範、標準、規制の作成に広く関係している。
研究 AIガバナンスに関する研究は、AIの潜在的な影響に関する基礎的な調査から具体的な応用まで多岐にわたる。基礎的な側面では、研究者たちはAIを電気や蒸気機関に例え、その幅広い応用範囲によって社会の多くの側面を変革できると主張している。いくつかの研究では、これらの影響から生じる可能性のある特定のリスクを予測することに焦点が当てられている。たとえば、大量失業、兵器化、偽情報の拡散、AIによる監視によるプライバシーの侵害や不正監視、権力の集中などの問題である。その他の研究では、急速に進化するAI業界の監視の難しさ、AIモデルの可用性および底辺への競争への動向など根本的なリスク要因を調査している。Google DeepMindの長期ガバナンスおよび戦略責任者であるアラン・ダフォーは、競争の危険性と協力の必要性を強調し、「高度で強力なシステムを導入する前に高度な注意を払うことは、AIの安全性とアライメントにとってほぼ必要かつ十分な条件だろう。しかし、先行者や相対的優位者への利益が大きい分野で関係者が競争している場合、最適ではないレベルの注意を選択するよう圧力がかかるだろう」と述べている。AI の説明責任を評価するためのアプローチ、フレームワーク、および方法の開発に重点を置いた研究ストリームがAI ベースのシステムの監査を主導・促進している。こうしたアプローチの主な課題は、広く受け入れられている標準が欠如していることと、その方法に何が必要かが曖昧であることである。