Libratus

Libratus（リブラトゥス）は、ポーカー、特にヘッズアップ・ノーリミット・テキサス・ホールデムをプレイするために設計された人工知能プログラムである。Libratusの開発者は、ポーカー以外の用途にも一般化できることを意図している。ピッツバーグのカーネギーメロン大学で開発された。

背景

Libratusはゼロから書き直されたが、Claudicoの名目上の後継である。前身と同様、その名称はラテン語で「バランスの取れた」を意味する。

Libratusは、Claudicoの200万から300万コア時間に対し、1500万コア時間以上の計算を用いて構築された。計算はピッツバーグ・スーパーコンピューティング・センターの新しいスーパーコンピュータ「Bridges」で実行された。開発者の一人であるトゥオマス・サンドホルム教授によれば、Libratusは固定された戦略を内蔵しているのではなく、戦略を計算するアルゴリズムを備えている。採用されている技術は、反実仮想後悔最小化（CFR）の変種である、2014年にオスカリ・タメリンによって導入されたCFR+である。CFR+に加えて、Libratusはサンドホルムと博士課程の学生ノアム・ブラウンが終盤戦（エンドゲーム）の解決のために開発した新技術を使用した。彼らの新しい手法は、ポーカーのプログラミングにおける従来のデ・ファクト・スタンダードであった「行動マッピング」と呼ばれる手法を排除した。

Libratusの開発と同時期に、カレル大学、チェコ工科大学、アルバータ大学の国際チームがDeepStackを開発した。これは2016年12月に、ヘッズアップ・ノーリミット・テキサス・ホールデムでプロのポーカープレイヤーを破った最初のコンピュータプログラムとなった。両システムとも反実仮想後悔最小化を使用していたが、アプローチが異なっていた。DeepStackはゲーム状態の評価にニューラルネットワークを採用したが、Libratusは末端ノードの評価にニューラルネットワークを使用しなかった。

Libratusは他の1人の人間またはコンピュータプレイヤーと対戦するため、2人用テキサス・ホールデムの特別な「ヘッズアップ」ルールが適用される。

2017年の人間対AIマッチ 2017年1月11日から31日まで、Libratusは「Brains vs. Artificial Intelligence: Upping the Ante challenge」というトーナメントで、ジェイソン・レス、ドン・キム、ダニエル・マコーレー、ジミー・チョウという4人のトップクラスの人間ポーカープレイヤーと対戦した。統計的有意性を高めるため、2015年にClaudicoが参加した前回のトーナメントより50%多い12万ハンドがプレイされた。この増加したプレイ数に対応するため、トーナメントの期間は13日間から20日間に延長された。

4人のプレイヤーは2人ずつのサブチームに分けられた。一方のサブチームは公開の場でプレイし、もう一方のサブチームは「ザ・ダンジョン」（地下牢）というニックネームの別室に配置され、そこでは携帯電話やその他の外部通信が禁止された。ダンジョンのサブチームには、公開の場で配られたものと同じ一連のカードが配られたが、人間とAIのカードを入れ替えて配られた。この仕組みは、カードの運による影響を排除することを目的としていた。

20万ドルの賞金は、人間のプレイヤー間でのみ分配された。各プレイヤーは最低2万ドルを受け取り、残りはAIに対する成績に応じて分配された。事前に定められたトーナメントのルール通り、AI自体は人間チームに対して勝利したものの、賞金を受け取ることはなかった。

トーナメント中、Libratusは日中にプレイヤーと対戦した。夜間には、その日の対戦内容や結果、特に自身の負けを分析することで、独自に戦略を完成させていった。そのため、人間チームが広範な分析によって発見した不完全な部分を継続的に修正することができ、人間とLibratusの間で永続的な軍拡競争が繰り広げられた。大会の目的のために、Bridgesスーパーコンピュータでさらに400万コア時間が使用された。

トーナメント中、ポーカープレイヤーの間で誰が勝つかという賭け市場が活発に行われた。当初はボットに対して4対1のオッズであったが、8日目には「どの人間が最も負けを少なくするか」という賭けに変わった。

AIの強さ

Libratusはトーナメント初日から人間プレイヤーをリードし続けていた。プレイヤーのドン・キムは、AIの強さについて次のように述べている。「今日になるまで、これほど強いとは思わなかった。まるで相手が不正をしていて、自分の手札が見えているかのような感覚だった。不正を疑っているわけではない。それほどまでに強かったのだ」。

大会16日目、Libratusは初めて100万ドルの壁を突破した。その日の終了時点で、人間チームに対してチップ換算で1,194,402ドルのリードを築いていた。大会終了時、Libratusは1,766,250ドルのチップ差をつけて圧勝した。マッチのビッグブラインドが100ドルに設定されていたため、Libratusの勝率は100ハンドあたり14.7ビッグブラインドに相当する。これはポーカーにおいて極めて高い勝率とみなされ、統計的に非常に有意である。

比較として、DeepStackは11人の専門家を相手にした4万4,000ハンドの調査で100ハンドあたり49ビッグブラインドの勝率を記録しているが、テスト条件（ハンド数、対戦相手のレベル、トーナメント形式）が異なるため、直接的な比較は困難である。

人間プレイヤーの中では、ドン・キムが1位、マコーレーが2位、ジミー・チョウが3位、ジェイソン・レスが4位となった。 名前順位成績（チップ）ドン・キム1 -$85,649ダニエル・マコーレー2 -$277,657ジミー・チョウ3 -$522,857ジェイソン・レス4 -$880,087合計: -$1,766,250 このボットは型破りなベッティングスタイルを持っており、特定の状況下ではポットに100ドルしかない場合でも2万ドルをベットすることがあった。この勝利の後、この戦略はポーカーコミュニティによって分析され、採用されるようになった。 その他の応用可能性

Libratusの最初の用途はポーカーをプレイすることであったが、設計者はこのAIにより広範な使命を想定していた。研究者たちは、不完全情報が存在し、相手が情報を隠したり、欺瞞工作を行ったりする可能性のあるあらゆるゲームや状況を学習できるようにAIを設計した。そのため、サンドホルムとその同僚たちは、このシステムをサイバーセキュリティ、ビジネス交渉、または医療計画などの他の現実世界の課題にも応用することを提案している。

脚注

関連項目 DeepStack Cepheus Claudico Polaris (ポーカーAI) Pluribus (ポーカーAI)

外部リンク Brains versus Artificial Intelligence - リバーズ・カジノの公式サイト