事前知識

事前知識（じぜんちしき、）とは、機械学習や統計学において、モデルの学習の際の、訓練データ外の知識のこと。

パターン認識は、機械学習と密接に関連した、非常に活発な研究分野である。分類または統計的分類としても知られるパターン認識は、入力パターンのクラスを決定できる分類器を構築することを目的とする。基本的には、学習の際は、訓練データ（または訓練セット）を形成する入出力ペアの集合のみに基づいて学習する。しかしながら、例えば手書き文字認識のような実世界の応用では、問題に関するある程度の訓練データ外の情報が通常、事前に知られている。この事前知識を訓練に組み込むことが、多くの応用において性能向上を可能にする重要な要素となる。E. Krupka and N. Tishby, "Incorporating Prior Knowledge on Features into Learning", Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 07)

事前知識事前知識とは、訓練データに加えて利用可能な、問題に関するすべての情報を指す。事前知識なしに有限の訓練データ集合からモデルを決定するという方法は、一意なモデルが存在しない可能性があるという意味で、不良設定問題である。ほとんどの分類器は、ある訓練データに類似したテストデータは同じクラスに割り当てられる傾向があるという、一般的な連続性の仮定を取り入れている。B. Scholkopf and A. Smola, "Learning with Kernels", MIT Press 2002.

機械学習における事前知識の重要性は、探索と最適化におけるその役割によって示唆される。大まかに言えば、ノーフリーランチ定理は、すべての探索アルゴリズムはすべての問題に対して同じ平均性能を持つと述べており、したがって、特定のアプリケーションで性能を向上させるためには、その問題に関する何らかの事前知識を含む特化したアルゴリズムを使用しなければならないことを意味する。

極論として、事前知識を一切使用しなかった場合、類似した入力は類似した出力になるという連続性の事前知識すら使用しなかった場合、機械学習は入力と出力の対応関係を覚えるだけのルックアップテーブルになり、未知のデータに正しく回答する汎化能力はなくなる。つまり、汎化能力のある機械学習は何らかの事前知識を必ず使用していて、帰納バイアスが必須である。

ベイズ統計学の事前確率分布も事前知識の一種である。

パターン認識で遭遇するさまざまな種類の事前知識は、クラス不変性とデータに関する知識という2つの主要なカテゴリに分類される。

クラス不変性変換不変性

パターン認識における非常に一般的な事前知識の一種は、入力パターンの変換に対するクラス（分類器の出力）の不変性である。この種の知識は変換不変性と呼ばれる。画像認識ではアフィン変換（平行移動、回転、鏡映、拡大縮小、せん断写像）がよく使われる。

でパラメータ化された変換への不変性を、入力パターンに対する出力を持つ分類器に組み込むことは、次の等式を課すことに対応する。

となるようにを中心とする変換に対しては、以下の制約を用いることで局所不変性も考慮できる。

これらの式における関数は、分類器の決定関数またはその実数値出力のいずれかである。

入力空間内の領域のクラス不変性別のアプローチとして、変換の代わりに「入力空間内の領域」に関するクラス不変性を考慮する方法がある。この場合、問題は次式を満たすを見つけることになる。

ただし、は入力空間内の領域の所属クラスである。

順列不変性パターン認識に見られる異なる種類のクラス不変性として、順列不変性がある。すなわち、構造化された入力における要素の順列に対するクラスの不変性である。この種の事前知識の典型的な応用例は、行列入力の行の順列に対して不変な分類器である。

データに関する知識クラス不変性以外の事前知識は、よりデータに特化したものであり、それゆえ実世界の応用において特に関心が高い。データ収集時に最も頻繁に発生する3つの特殊なケースは以下の通りである。

所属すると想定されるクラスを持つ、ラベルなしサンプルが利用可能であること。あるクラスのサンプル比率が高いことに起因する、訓練集合の不均衡。データの品質がサンプルごとに変動しうること。

これらの事前知識を学習に組み込むことで、認識の質を高めることができる。さらに、一部のデータの質の低さやクラス間の大きな不均衡を考慮に入れないことは、分類器の判断を誤らせる可能性がある。

Źródło i licencja