『Attention Is All You Need』は、Googleで働く8人の科学者によって執筆された、2017年の機械学習モデルのTransformerを発表した学術出版研究論文である。「注意こそが必要とされる全てだ」という日本語で表記されることもある。
概要 この論文は、Bahdanauらが2014年に提案した注意機構に基づく、トランスフォーマーとして知られる新しいディープラーニングアーキテクチャを導入した。トランスフォーマーのアプローチは、GPTに基づくもののような大規模言語モデルの主要なアーキテクチャとなっているため、現代の人工知能における基礎的な論文とみなされている。当時、研究の焦点は機械翻訳のためのSeq2seq技術の改善にあったが、著者たちは論文中でさらに進んで、質問応答や、現在マルチモーダル生成AIとして知られるものなど、他のタスクへのこの技術の潜在的な可能性を予見している。
論文のタイトルは、ビートルズの楽曲「All You Need Is Love」（「愛こそはすべて」）のオマージュである。「トランスフォーマー」という名称は、著者の一人であるUszkoreitがこの単語の音を気に入ったため選ばれた。
本アーキテクチャの初期の設計文書は"Transformers: Iterative Self-Attention and Processing for Various Tasks"と題されており、アニメ番組『トランスフォーマー』の6人のキャラクターのイラストが含まれていた。チームはチーム・トランスフォーマーと名付けられた。
チームがトランスフォーマーアーキテクチャを試した初期の例には、英語からドイツ語への翻訳、「トランスフォーマー」に関するウィキペディアの記事の生成、構文解析などが含まれていた。これらの試みは、トランスフォーマーが翻訳だけでなく汎用言語モデルであることをチームに確信させた。
この論文は10万回以上引用されている。
著者 論文の著者は、、ノーム・シャジール、Niki Parmar、Jakob Uszkoreit、Llion Jones、、Lukasz Kaiser、Illia Polosukhinである。8人の著者は全員、論文に「同等に貢献」しており、記載されている順番はランダムに決定された。Wiredの記事は、グループの多様性を強調している。
8人の著者のうち6人は米国以外で生まれ、残りの2人はそれぞれ、一時的にカリフォルニアに滞在していたグリーンカード保持者のドイツ人の子供と、迫害から逃れてきた家族を持つ第一世代のアメリカ人である。
2023年までに、8人全員がGoogleを退社し、それぞれが独自のAIスタートアップを設立した（OpenAIに参加したŁukasz Kaiserを除く）。Llion JonesはSakana AIを創業した。
歴史的背景
出典
外部リンク