thumb|エンロン・コーパスを用いた社員間のネットワークの可視化エンロン・コーパス()ないしエンロン・データセット()は、2001年に破綻した企業・エンロンの社員により送受信された、およそ20万件のメール文書からなるデータセット(コーパス)である。による同社の法的捜査にあたって公開されたものであり"The Enron Email Corpus " Retrieved March 5, 2011.、スパム検出をはじめとする、メールに関する自然言語処理において非常に有用であるとみなされている。
構築 エンロンは1985年に設立されたエネルギー企業であり、天然ガスや電力などのエネルギー商品の卸売と、それらを金融商品化したデリバティブ取引や仲介業務を通じて、1990年代に急成長した。しかし、エンロンが経営の多角化や海外事業などに失敗し、大きな損失を出したこと、また、これに関連して特別目的事業体を通じた、財務諸表の操作を目的とする不正な簿外取引が明るみに出たことを受けて、同社は2001年に破綻した()。アメリカのエネルギー関連事業を監督する立場にある(FERC)は、特にカリフォルニア電力危機に関するエンロンの責任に関して捜査をはじめた。
では、多量のデータの収集・保存が必要とされたものの、破綻後の同社はFERCの要求に応えられるだけの資本を欠いていた。FERCはアスペン・システムズ(Aspen Systems、現:ロッキード・マーティン)にこの業務を委託した。同社に勤務するジョー・バートリング(Joe Bartling)はヒューストンのエンロン本社にて、2002年5月にエンロン・コーパスを含むデータを接収した。FERCはこれらの情報を公開する意向を発表したものの、エンロンからは特に返答はなかった。このため、およそ160万件のメールを含むこれらのデータは、2003年3月26日にFERCにより公開された。エンロンはこれに強く抗議し、一部の情報削除を求める申立を行った。これにより、FERCは社会保障番号といった、捜査と関係のない個人情報を含むメールを削除した。
FERCはアスペンを経由するかたちで、有償でメールデータのディスクを提供しており、マサチューセッツ工科大学の研究者であったレスリー・ケールブリング(Leslie Kaelbling)はこのデータセットを10,000ドルで購入し、無償で公開した。SRIインターナショナルのCALO(A Cognitive Assistant that Learns and Organizes、学習・整理する認知アシスタント)プロジェクトに参与していたメリンダ・ジェルバシオ(Melinda Gervasio)を中心とする研究者により整形された。同コーパスの生データには158人による619,446件のメールが含まれているが、重複やスパムの削除などを通して、2004年までにエンロン・コーパスは20万件まで整理された。
利用 エンロン・コーパスは、実際に送受信されたメールの大規模な研究用データセットとして、広く評価されている。このようなデータセットは、秘密保持契約やといった、法的・プライバシー上の制約を強く受けたものであることが多く、エンロン・コーパスのような例は希少であるMarkoff, John. "Armies of Expensive Lawyers, Replaced by Cheaper Software". New York Times March 5, 2011. p A1.。また、FERCによるエンロン・コーパスの公開はオンラインにおける個人情報の公開に関する理解が曖昧だった時代の出来事であり、多くの研究者は同様の規模のデータセットが入手できる可能性は低いと考えている。2013年の『MITテクノロジーレビュー』によれば、(2013年)現在においてもエンロン・コーパスを利用した論文は年間30件投稿されている。
エンロン・コーパスは、メールのスパム検出やフラグ付けといった技術の開発・評価に利用可能であるほか、ネットワーク分析やAI学習、メールに関する言語学的・社会学的研究などに利用されている。エンロン・コーパスには多くの差別的内容が含まれていたため、ジェンダーバイアスに関する研究にも利用されている。
参考文献
外部リンク
Enron Email Dataset - カーネギーメロン大学・