LFM(Leniar Filtering Method)とは、データの成分分解法を採用したデータ構造である FAST構造を処理するアルゴリズム群(特許取得済み)の総称。
従来のレコード単位処理に対し、全く新たな概念「ファイル単位一括オンメモリー処理」を実現し、 64ビット、メモリー大容量化、マルチコア、超並列時代に適合したデータ超高速並列処理技術である。
特徴 PC(マルチコア)からサーバ(SMP、マルチコア)CELL・パラレルコンピュータに適用可能 数百行小規模データから大規模約21億行(32ビット行カウンタ)まで、普遍的、統一的に処理 世界で初めて、プログラミングインデペンデントでデータ処理の並列化を実現 大規模テーブル(表)データを、ビジュアル、インタラクティブに高速に処理 ソート、ジョイン、検索、抽出、集計、計算、等々各種データ加工処理を関数化して一括処理 中間ファイル用Disc不要;高コストのDiscドライブを大幅に削減(1/20~1/100) バッチ処理時間の大幅短縮によりCPU数、システム運用コストの大幅削減実現
性能値 6種のFASTがあると公表されている。
+ FASTモデル(表形式) 種別 モデル プリセッサコア数(SPU数) テーブル最大行数 性能指標 SMP&マルチコア 1/3MS 2,8,64 21億 2-40 Parallel 3/5 64、2の20乗 21億 1200-400000 CELL 3/5MS 64、72 21億 100-300
1億行のテーブル(値は1億通り)をソートするのに40秒掛かる時に‘1’となる FASTモデル(ツリー系)の 2/4MS,4/6,4/6MSに関しては、性能値未発表
参考文献
汎用超高速データベース処理技術 超高速DBアルゴリズムの超並列環境下のシミュレータ開発