Groq, Inc. は、と称するAIアクセラレータASICおよびAIワークロードにおける推論性能を向上させる関連ハードウェアの構築を行っているアメリカのAI企業である。 Groq製LPUで走らすことの出来るAIワークロードの一例としては: 大規模言語モデル (LLM)、、異常検知、および予測分析である。
Groqはカリフォルニア州マウンテンビューを本拠にし、そして同州サンノゼ、、カナダのトロント、イギリスのロンドンに支社を持ち、リモートワーカーを北アメリカとヨーロッパ全域で雇っている。
歴史 Groqは、AIアクセラレータASICである、テンサー・プロセッシング・ユニット(TPU)の設計者の内の1人であるJonathan Rossと、起業家でかつてGoogle X(X Developmentとしても知られる)の初代CEOを務めたエンジニアのDouglas Wightman率いる元Googleのエンジニア達のグループによって、2016年に設立された。
Groqは、のからシード資金を受け取って、2017年に1千万米ドルの投資を行い、その後すぐに追加の資金を確保した。
2021年4月、Groqはと率いるシリーズCラウンドで3億ドルを調達した。現在の投資家には次を含む: The Spruce House Partnership、、、Xⁿ、Firebolt Ventures、、Tru Arrow Partners、またTDKベンチャー、XTXベンチャー、Boardman Bay Capital Management、そしてInfinitum Partnersからの後続投資も然りである。GroqのシリーズC資金調達ラウンドの後、このスタートアップは10億ドル以上と評価され、ユニコーンとなった。
2022年3月1日、Groqはデータフロー・システム技術で名を馳せていた企業、Maxeler Technologiesを買収した。
2023年8月16日、Groqはサムスンの4nmプロセス・ノードで次世代チップを製造するために、にあるサムスン電子のファウンドリを選択した。この新しいサムスンのチップ工場において、これは初の受注案件であった。
2024年2月19日、Groq softはGroq APIの利用促進と、自社チップへのレンタル・アクセスに開発者を引き付けるために開発者プラットフォーム、GroqCloudを立ち上げた。同年3月1日、Groqは自社のクラウドプラットフォームを支援するために(広範なビジネス=指向AIソリューションを提供することで知られるスタートアップ企業)Definitive Intelligenceを買収した。
Groqは、2024年8月にブラックロック・プライベートエクイティ・パートナーズ率いるシリーズDラウンドで企業価値評価額を28億ドルと見積もられ、6億4千万ドルを調達した。
Groqによる自社サイトの最近の更新で、自社のインフラを拡張するためにサウジアラビアからの資金調達で15億ドルを確保した事を発表したhttps://groq.com/leap2025/。
言語処理ユニット サムネイル|Groq社製、第1世代LPUのダイ写真 Groqの同社製ASICについて初期の呼称はTensor Streaming Processor (TSP)であったが、のちにTSPをLanguage Processing Unit (LPU)としてリブランドさせた。
LPUは機能的には、細切れな「ベクトルと行列演算ユニットでインターリーブ(※≒サンドイッチ)されたメモリ・ユニット」を用いるマイクロアーキテクチャを特徴とする。この設計はAIのグラフ演算におけるデータフロー局所性の利用促進につながり、実行性能と効率を改善させる。LPUは次の2つの重要な所見に基づいて設計された:
AIワークロードは実質的には(専用ハードウェアにマッピング可能な)データ並列性を示し、性能向上が期待されること。 (と相まって)プロセッサ設計は、ハードウェア・コンポーネント全体にわたって精緻な制御と演繹を可能し、最適化された性能とエネルギー効率を可能にすること。
その機能的に細切れなマイクロアーキテクチャに加えて、LPUはその単一コア(性)、決定論的アーキテクチャによっても特徴付けられる。LPUは、因襲的で無効なハードウェア・コンポーネント(分岐予測器、(※≒バスコントローラ)、(※≒アウト・オブ・オーダー実行器)、キャッシュ)の利用を回避し、ならびにLPUプログラムの実行時においては、全ての実行を明示的にコンパイラに制御させることで、決定論(性)を保証することにより、LPUの決定論的実行の達成を可能にする。
LPUの第1世代(LPU v1)では、900MHzの公称クロック周波数で動作する、その14nm(プロセスルール)25×29mmチップにおいて、シリコン1mm2あたり1テラ回/秒を超える計算密度を生む。LPUの第2世代(LPU v2)はサムスンの4nmプロセスノードで製造される。
性能 Groqは、Meta社のLlama2-70Bパラメータ・モデルの実行に際して、100トークン毎秒の生成速度の突破した、初のAPIプロバイダーとして浮上した。
Groqは現在、自社のLPU上で走る様々なオープン=ソース大規模言語モデルを公開アクセスのためにホストしている。これらのデモへのアクセスはGroqのWebサイトを通じて利用できる。これらオープンソースLLMの実行に際してのLPUの性能は、その他のLLMプロバイダーと照らし合わせて、ArtificialAnalysis.aiによって独立的にベンチマークされている。LPUの測定済みの性能(値)は以下の表に示す通り: +言語処理ユニットのLLM性能モデル名トークン/秒 (T/s)レイテンシLlama2-70B253 T/s0.3秒Mixtral473 T/sGemma826 T/s
関連項目
CPU Graphics Processing Unit その他同業他社 セレブラス グラフコア ジム・ケラー
L始まり、3文字の頭文字、でも別会社の製品 : : / Clef
分類器
ワンショット学習 (曖昧さ回避) フューショット学習
脚注
外部リンク