ランダムフーリエ特徴量

ランダムフーリエ特徴量（ランダムフーリエとくちょうりょう、英: Random Fourier Features、略称: RFF）は、機械学習においてカーネル法を近似するための手法の一つである。特にRBFカーネル（ガウスカーネル）などの移調不変なカーネル関数を、有限次元の内積空間で近似することで、計算効率の向上を図ることができる。2007年にAli RahimiとBenjamin Rechtによって初めて提案され、大規模データを扱う際のカーネル行列計算の負担を低減するアプローチとして広く研究・応用されている。

概要 カーネル法（例えばSVMなど）は、データ点間の非線形な関係性をカーネルトリックを通じて線形分類器に持ち込み、高い表現力を得ることができる。しかし、大規模なデータセットに対してはカーネル行列のサイズが膨大となり、学習アルゴリズムの計算コストやメモリ使用量が問題となることが多い。

ランダムフーリエ特徴量では、ボホナーの定理に基づき、シフト不変な正定値カーネルをそのフーリエ変換を用いて表現し、その確率分布に従ってランダムサンプリングを行うことで近似する。この近似によって、元来は無限次元となる特徴空間を有限次元の（ランダムに投影された）特徴ベクトルへと写像できる。これにより、非線形カーネルを用いる学習アルゴリズムを、（大きな特徴次元であっても）線形モデルの範囲に落とし込み、より計算効率良く扱うことが可能となる。

数式による定式化 シフト不変なカーネル に対し、ボホナーの定理より以下が成り立つ：

ここで は対応する確率密度関数である。

これに基づき、、およびランダム位相 を用いて特徴写像を以下のように構成する：

このとき、カーネル関数は次のように近似される：

応用例 ランダムフーリエ特徴量は、以下のような分野や課題で広く利用されている。 分類（サポートベクターマシン等） 回帰（カーネルリッジ回帰やガウス過程回帰の近似） クラスタリング（カーネルK-meansなどの高次元近似） 次元削減（ランダム投影と組み合わせた高次元特徴ベクトルの構築）

さらに、高速な近似手法として、ランダムフーリエ特徴量を高速フーリエ変換（Fast Fourier Transform）の構造を利用して効率化する研究なども提案されており、大規模学習への応用範囲を拡張している。

限界 ランダムフーリエ特徴量は、元のカーネル行列を直接扱う場合と比べて計算コストやメモリ使用量を低減することができる。しかし、近似精度はランダムサンプリングによるばらつきや、特徴量の次元Dに依存する。高精度を得るためには大きなDを確保する必要があり、その場合のメモリ消費や計算時間とのトレードオフが生じる。また、カーネルがシフト不変であることが前提となるため、他の種類のカーネル（例：多項式カーネルなど）を直接適用する場合には工夫が必要である。

関連項目 カーネル法 サポートベクターマシン RBFカーネル カーネルリッジ回帰 ボホナーの定理 次元削減 ランダム行列

出典