確率変数の収束

数学の確率論の分野において、確率変数の収束（かくりつへんすうのしゅうそく、）に関しては、いくつかの異なる概念がある。確率変数列のある極限への収束は、確率論や、その応用としての統計学や確率過程の研究における重要な概念の一つである。より一般的な数学において同様の概念は確率収束 (stochastic convergence) として知られ、その概念は、本質的にランダムあるいは予測不可能な事象の列は、その列から十分離れているアイテムを研究する場合において、しばしば、本質的に不変な挙動へと落ち着くことが予想されることがある、という考えを定式化するものである。異なる収束の概念とは、そのような挙動の特徴づけに関連するものである：すぐに分かる二つの挙動とは、その列が最終的に定数となるか、あるいはその列に含まれる値は変動を続けるがある不変な確率分布によってその変動が表現される、というようなものである。

背景 「確率収束」とは、本質的にランダムあるいは予測不可能である事象の列がしばしばあるパターンへと落ち着くことが期待される、という考えを定式化するものである。そのパターンとは、例えば、 ある固定値や、ある確率事象から発生するそれ自身への、古典的な意味での収束 純粋な決定論的な関数から生じる結果への相似性の増加 ある特定の結果への嗜好の増加 ある特定の結果から離れていることに対する反発の増加 などが挙げられる。それより明白ではないが、より理論的なパターンとしては 次の結果を表現する確率分布が、ある分布へとより似るようになること ある特定の値から離れた結果の期待値を計算することによって形成される列が へと収束すること 次の事象を表現する確率変数の分散がより少なくなっていくこと などが挙げられる。これらの起こりうる異なるタイプのパターンは、研究されている異なるタイプの確率収束において反映される。

上述の議論は一つの列の一つの極限値への収束と関連しているが、二つの列が互いへと収束する概念も重要である。しかし、それは、それら2つの列の差や比によって定義される列を研究することによって容易に扱うことができる。

例えば、等しい有限の平均と分散を持つような 個の確率変数 の平均が

で与えられるとすると、 が無限大へと近付く時、 は確率変数 の共通の平均 へと確率収束（下記参照）する。この結果は大数の弱法則として知られる。別のタイプの収束は、中心極限定理を含む別の有用な定理において重要となる。

以下では、 を確率変数列とし、 を確率変数とし、それらすべては同一の確率空間 上で定義されるものとする。

分布収束

このタイプの収束により、ある与えられた確率分布によってより良くモデル化されるようなランダム実験の列における結果を期待することができる。

分布収束は、この記事内で述べられる全ての他のタイプの収束も意味するという点において、最も弱い収束である。しかしながら、実際の現場において、分布収束は非常によく利用される; 最もよく現れるのは、中心極限定理の応用においてである。

定義 確率変数の列 が、ある確率変数 へと分布収束する、あるいは弱収束あるいは法則収束 (converge in law) するとは、

が、 が連続であるような全ての数 に対して成り立つことである。ここで、 および はそれぞれ確率変数 および の累積分布関数である。

が連続であるような点のみを考えるということは本質的である。例えば、もし が区間 上一様に分布しているなら、その列は退化確率変数 へと収束する。実際、 である時はすべての に対して が成り立ち、 である時はすべての となる に対して が成り立つ。しかしながら、すべての に対して であるにもかかわらず、この極限確率変数に対しては である。したがって、 の不連続点 では累積分布関数の収束は成立しない。

分布収束は次のように表記することができる。

ここで は の法則（確率分布）である。例えば、 が標準正規であるなら と書くことができる。

に対する分布収束も、同様に定義される。この列がある確率 -ベクトルへと分布収束するとは、

が、 のであるすべての に対して成り立つことである。

分布収束の定義は、確率ベクトルから、任意の距離空間におけるより複雑な確率要素や、さらには漸近の場合を除いて可測でない「確率変数」に対してですら拡張される-そのような状況は例えば経験過程の研究において現れ、これは「定義されていない法則の弱収束」である。

この場合、弱収束という呼び名が好ましい（を参照されたい）。また、確率要素の列 が へと弱収束する（ と記述される）とは、

がすべての連続有界関数 に対して成り立つことである。ここで E は外期待値 (outer expectation)、すなわち、 を支配するような最小の可測関数 の期待値を表す。

性質 であることから、分布収束は、十分大きい に対して がある与えられた領域に含まれる確率と、その領域に が含まれる確率がほとんど等しいことを意味する。 一般的に分布収束は、対応する確率密度関数の列が同様に収束するということは意味しない。その一例として、密度 を備える確率変数を考える。そのような確率変数は一様分布 へと分布収束するが、その密度が収束することはない。 では、分布収束のいくつかの同値な定義が述べられている。それらの定義は直感にそぐわないものでもあるかも知れないが、統計学における多くの定理の証明に利用されている。その補題によれば、 が へ分布収束するための必要条件は、次のいずれかが成立することである： がすべての有界な連続関数 に対して成立する； Eƒ(X) → Ef(X) がすべての有界なリプシッツ関数 に対して成立する； limsup{ Ef(X) } ≤ Ef(X) がすべての上半連続かつ上に有界な関数 に対して成立する； liminf{ Ef(X) } ≥ Ef(X) がすべての下半連続かつ下に有界な関数 に対して成立する； limsup{ Pr(X ∈ C) } ≤ Pr(X ∈ C) がすべての閉集合 C に対して成立する； liminf{ Pr(X ∈ U) } ≥ Pr(X ∈ U) がすべての開集合 U に対して成立する； lim{ Pr(X ∈ A) } = Pr(X ∈ A) が、すべての確率変数 X の に対して成立する。 によると、 が連続関数であるとき、確率変数列 {X} が に分布収束するなら、{g(X)} も へと分布収束することが分かる。 レヴィの連続性定理：確率変数列 {X} が に分布収束するための必要十分条件は、それらに対応する特性関数の列 が の特性関数 へと各点収束することである。 分布収束はレヴィ-プロホロフ計量によって距離化可能である。 スコロホッドの表現定理は、分布収束への自然な拡張である。

確率収束

「例外的」な結果が起こる確率は、列が進むにつれてより小さくなる、という考え方が、このタイプの収束の背景にある。

確率収束の概念は統計学において非常に頻繁に用いられる。例えば、ある推定量が一致推定量であるとは、それが推定された量へと確率収束することを言う。確率収束はまた、大数の弱法則により確立される収束の一つでもある。

定義 確率収束の定義を正式に述べる。任意の および任意の を選ぶ。 を中心とする半径 の外側に がある確率を とする。このとき、 が へと確率収束するためには、全ての に対して確率 が より小さくなる、ある数 が存在しなければならない。

確率収束は、収束を表す矢印に記号 を付け加えるか、確率極限作用素 "plim" を使って表される：

性質 確率収束するならば、分布収束する。 確率収束しても、必ずしも概収束しない。 逆に、分布収束が確率収束を意味するためには、極限の確率変数 X が定数である必要がある。 によると、どのような連続関数 に対しても、 であるならば が成立する。 確率収束は、ある固定された確率空間に対する確率変数の空間上の位相を定義する。この位相は、次に述べる計量により距離化可能である：

あるいは .

概収束

概収束は、初等的な実解析の分野で知られる各点収束の概念とほぼ同様な、確率収束の一つの型である。

定義 確率変数列 が へと概収束あるいはほとんど確実に収束、ほとんど至る所で収束、確率 で収束あるいは強収束するとは、

が成り立つことである。

上式は、 が へと収束しない事象が起きる確率が であるという意味で、 の値が の値へと近付くことを意味する（ほとんど (数学)も参照）。確率空間 を定め、 から への関数としての確率変数の概念を利用することで、上式は

と同値となる。

また概収束の同値な定義には、以下もある：

概収束は、しばしば、収束を表す矢印の上に記号 a.s.（almost surelyの略）を付け加えることによって表現される：

距離空間 上の一般的な確率要素 に対しても、同様に概収束が定義される：

性質 概収束は確率収束を意味し、したがって分布収束を意味する。大数の強法則で用いられる概念は、概収束である。 概収束の概念は、確率変数の空間上のトポロジーから生じるものではない。このことは、概収束がそのトポロジーに関する収束列と全く等しいような確率変数の空間上のトポロジーというものは存在しないことを意味する。特に、概収束には計量が無い。

確実収束 ある確率空間上定義される列あるいは確率変数 （すなわち、確率過程）が へ確実収束 (sure convergence) あるいは各点収束するとは、

が成り立つことである。ここで は、確率変数が定義される確率空間に含まれる標本空間である。

これは、関数列の各点収束の概念を確率変数の列へと拡張したものである（確率変数はそれ自身が関数であることに注意されたい）。

確率変数の確実収束は、上述の他の全ての収束を意味する。しかし、概収束の代わりに確実収束を用いることのメリットは確率論においてはあまり無い。それら2つの収束の違いは、確率 の集合に関する点のみに存在する。このことが、確実収束の概念が滅多に用いられることの無い理由である。

平均収束 ある に対し、列 が へと 次平均収束（あるいは、-ノルムについて収束）するとは、 および の 次絶対積率が存在し、かつ

が成り立つことである。ここで作用素 E は期待値を表す。次平均収束は、 と の差の 次のべきの期待値が へと収束することを意味する。

この種の収束はしばしば、収束を表す矢の上に記号 を付け加えることで表現される：

r次平均収束に関して重要なケースを下に挙げる： について が へと 次平均収束するとき、 は へ平均収束すると言われる。 について が へと 次平均収束するとき、 は へ二乗平均収束すると言う。この収束はまた次のように記述されることもある：

に関する 次平均収束は、（マルコフの不等式により）確率収束を意味する。また、 である時、次平均収束は 次平均収束を意味する。このことから、二乗平均収束は平均収束を意味することが分かる。

性質 様々な収束の概念の間の包含関係を以下に記述する。それらは、矢の記号を使うことで、次のように表される：

いくつかの特別な場合とともに、これらの性質を次のようにまとめる： 概収束は、確率収束を意味する：

確率収束は、概収束するような部分列 が存在することを意味する：

確率収束は、分布収束を意味する：

次平均収束は、確率収束を意味する：

次平均収束は、より低次（ただしそれらはいずれも より大きいものとする）の平均収束を意味する： provided r ≥ s ≥ 1. が定数 へと分布収束するなら、 は へと確率収束する： provided c is a constant. が へと分布収束し、 と の差が へと確率収束するなら、 もまた へ分布収束する：

が へ分布収束し、 が定数 へ分布収束するなら、それらの結合ベクトル (, ) は へ分布収束する： provided is a constant. ここで が定数へ収束するという条件が重要であることに注意されたい。もしその収束がある確率変数 へのものであったら、 が へ収束するという結論は得られない。 が へ確率収束し、 が へ確率収束するなら、それらの結合ベクトル は へ確率収束する：

が へ確率収束し、すべての およびある に対して が成立するなら、 はすべての に対して へと 次平均収束する。言い換えると、 が へと確率収束し、すべての がほとんど確実に上下とも有界であるなら、 は任意の について へ 次平均収束する。 概収束表現：通常、分布収束は概収束を意味するものではない。しかし、 へ分布収束するある与えられた列 に対しては、新しい確率空間 とその上で定義される確率変数 で、各 に対して は分布として に等しく、また は へと概収束するようなものを見つけることが常に可能である。 すべての に対して

であるとき、 は へとほとんど完全に (almost completely) 収束すると言う。 が へほとんど完全に収束するなら、それはまた へ概収束もする。言い換えると、もし が十分に早く へ確率収束するなら、 は へ概収束もする。これは、ボレル・カンテリの補題からの直接的な帰結である。 を 個の実独立な確率変数の和

としたとき、 が概収束することと確率収束することは同値である。 優収束定理は、概収束が -収束を意味するための十分条件を与える：

収束のための必要十分条件は、 かつ列 が一様可積分であることである。

脚注 注釈

出典

参考文献

関連項目

：確率過程の連続性についての問題は、本質的には、収束や、多くの同様の概念や関係についての問題である。

スコロホッドの表現定理