Forethought(フォーサート)は、超知能AIシステムが登場する世界への移行をうまく乗り越えるための研究に特化した、イギリス・オックスフォード拠点の非営利研究機関である。哲学者ウィリアム・マッカスキル、マックス・ダルトン、トム・デイヴィドソン、アムリット・シドゥ=ブラーの4名が2024年中頃に共同設立した。

AIがいずれ人間の研究者に取って代わり得ると想定したうえで、その「知能爆発」(intelligence explosion)がもたらす多様な課題を分析し、人類が豊かな未来を実現するための方策を探ることを使命とする。

概要

Forethoughtは、自らを「AI戦略マクロ研究グループ」と位置づけ、超知能AIへの移行という一大転換期に社会が直面するであろう難題を包括的に調査している。単にAIの破局的リスクを回避するだけでなく、「本当に良い未来」を積極的に追求する点を研究の方向性として強調している点が特徴的である。

組織の規模は意図的に小さく保たれており、困難な問いに対処してきた実績のある少数精鋭の研究者チームを目指している。研究成果はAI関連のシンクタンク、企業、政策立案者、そして一般市民に向けて発信される。

前身となる「Forethought Foundation for Global Priorities Research」(グローバル優先事項研究フォーサート財団)はウィリアム・マッカスキルが関与していた組織であるが、Forethoughtは2024年に新たなチームと議題のもとで発足した実質的に別組織であり、旧財団のフェローシップ等の活動は終了している。

背景・設立経緯

創設者たちは、AIがおよそ2〜8年以内に大半のAI研究開発を自動化するようになるという見通し(モーダル・タイムライン)のもとで研究を開始した。AIが人間の研究者の代替となる水準に達した場合、技術進歩は数十年分の内容が数年あるいは数ヶ月に凝縮されるほど急激に加速する可能性があると分析している。

この見立てに基づき、創設者たちは一連のセミナーを開催し、議論を深めた末に組織立ち上げへと至った。Future of Humanity Institute(人類の未来研究所)やOpen Philanthropyのワールドビュー調査チームを知的な先達として挙げており、重要な問いへの集中、高い知的水準、強固なコア・チームの構築という姿勢を共有している。

主な研究テーマと特徴

インテリジェンス爆発の準備

Forethoughtの中核的な研究テーマは、AIが研究を爆発的に加速させる「知能爆発」の到来を見据え、その諸課題に備えることである。同組織の分析によれば、AIによる研究自動化が始まれば、大量破壊兵器の新たな開発、AIを利用したクーデターやオートクラシーの台頭、宇宙資源をめぐる争奪戦、デジタル存在の権利問題といった「グランドチャレンジ(大きな難題)」が連続的かつ急速に噴出する可能性がある。

AIによるクーデターリスク 能力の高いAIが登場すれば、少人数あるいは一人の人間でも、AI兵器・AI軍隊・AI諜報能力を独占することでクーデターを実行できる新たな脅威が生まれると論じる。対策として、フロンティアAIシステムを複数の利害関係者で共有すること、AI悪用に対するルールの設計と執行、秘密の忠誠心を持つモデルの監査などを提言している。

ソフトウェア・インテリジェンス爆発 AIがAI研究開発を全自動化できる状況(Automated AI R&D)に達した場合、AIがより高度なAIを生み出し、そのAIがさらに高度なAIを生み出すという正のループが成立し、極めて急速な技術進歩が引き起こされる可能性を定量的に分析している。

インダストリアル爆発 インテリジェンス爆発に続いて、ロボット工場がより優れたロボット工場を製造するという物理的なフィードバックループ(インダストリアル爆発)が起こりうると論じる。最終的には物理的労働力が数日から数週間で倍増するほどの速度に達する可能性があるという。

実存的安全保障のためのAIツール

Forethoughtは、存在リスクに取り組む上でAI自体を活用することを提唱している。具体的には、人間の判断を向上させる「認識論的ツール」、多様なグループが共通目標に向けて協力できるよう促す「協調ツール」、特定リスクに対応する「リスク標的型ツール」の3種類を重点的に開発・加速させるよう求めている。

より良い未来の実現

カタストロフィを回避するだけでなく、「本当に良い未来(viatopia)」を積極的に構想し、その実現に向けた経路を探ることも研究の柱の一つである。道徳的不確実性を組み込んだうえで、何が望ましい未来の状態かを明らかにしようとするこのアプローチは、従来の実存リスク研究には見られなかった視点として注目されている。

組織と人員

マックス・ダルトン(Max Dalton) Forethought代表。以前は効果的利他主義センター(Centre for Effective Altruism)の事務局長を務めた。オックスフォード大学で哲学・政治・経済学(PPE)の1等学位を、経済学のMScを取得している。

ウィリアム・マッカスキル(William MacAskill) 共同創設者。オックスフォード大学道徳哲学准教授(参加前)。著書にDoing Good Better、Moral Uncertainty、What We Owe The Futureがある。Giving What We Can、80,000 Hours、Centre for Effective Altruism、グローバルプライオリティ研究所の共同創設者でもある。

トム・デイヴィドソン(Tom Davidson) 共同創設者・上席研究員。Open Philanthropyのワールドビュー調査チームでAIのタイムラインや経済成長モデルに関する先駆的な報告書を執筆した。

アムリット・シドゥ=ブラー(Amrit Sidhu-Brar) 共同創設者。

影響と評価

Forethoughtの研究は設立後短期間で広く参照されるようになった。

AIによるクーデターリスクに関するレポートおよびBetter Futuresシリーズは、80,000 Hoursのトップ問題プロフィールリスト改訂に影響を与えた。 Forethoughtの研究は、Y Combinatorの元社長ジェフ・ラルストンが創設した安全志向のベンチャーキャピタル「Safe Artificial Intelligence Fund」の設立を促す契機となった。 研究者たちは、33か国と政府間機関の100名以上の代表が著した「国際AI安全報告書」に貢献した。 ウィリアム・マッカスキルが80,000 Hoursに出演したインタビューは、当時同番組史上最多視聴回数を記録し、YouTubeで14万回以上再生された。 Open Philanthropyの元シニアアドバイザーでAnthropicに転じたジョー・カールスミスは、Forethoughtを「FHIとOpenPhilのワールドビュー調査チームの精神的後継者」と評し、支援を推薦している。

主な研究・出版物

Preparing for the Intelligence Explosion ウィリアム・マッカスキル著。インテリジェンス爆発が引き起こす「グランドチャレンジ」を網羅的に分析し、今から備えるべき行動を提言した主著論文。 Will AI R&D Automation Cause a Software Intelligence Explosion? ダニエル・エス&トム・デイヴィドソン(2025年3月)。ASARAの展開がソフトウェアのインテリジェンス爆発を引き起こすかを定量的に検討。 Three Types of Intelligence Explosion ソフトウェア・チップ技術・チップ製造の3つのフィードバックループを分析し、3種類のインテリジェンス爆発シナリオを提示。 AI Tools for Existential Security 実存リスクへの対応においてAIツールを活用する戦略的機会を論じる。 The Industrial Explosion トム・デイヴィドソン&ローズ・ハッドシャー(2025年6月)。ロボット工場による物理的フィードバックループ「インダストリアル爆発」の動態を初めて体系的に分析。

関連項目

ウィリアム・マッカスキル 効果的利他主義 効果的利他主義センター グローバルプライオリティ研究所 マシーンインテリジェンス研究所 AIの安全性 超知能 知能爆発 存在リスク

脚注

外部リンク

Forethought 公式サイト Forethought Research Forethought Newsletter(Substack)

カテゴリ:AIの安全性 カテゴリ:人類存亡リスク カテゴリ:効果的利他主義 カテゴリ:2024年設立の組織