中心極限定理

サイコロを n 回振ったときの出た目の和 S_n = X₁ + … + X_n の分布が n を大きくするに従って正規分布による近似に近づく様子

中心極限定理︵ちゅうしんきょくげんていり、英: central limit theorem, CLT︶は、確率論・統計学における極限定理の一つ。

大数の法則によると、ある母集団から無作為抽出した標本の平均は標本の大きさを大きくすると母平均に近づく。これに対し中心極限定理は標本平均と母平均との誤差の分布を論ずるものである。多くの場合、母集団の確率分布がどんな分布であっても、その誤差の分布は、標本の大きさを大きくしたとき近似的に期待値ゼロの正規分布になる。これを中心極限定理という。

なお、母集団の分布に分散が存在しないときには、標本平均と母平均の誤差の分布の極限が正規分布と異なる場合もある。

確率変数での中心極限定理は、独立した同一の分布に従う確率変数がN個あった場合、元の分布が期待値 μ と分散 σ² を持てば、N個の確率変数の算術平均は、n が十分大きいとき近似的に期待値 μ と分散 σ²/nの正規分布に従うというものである。

統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。

定理

以下の定理はLindeberg (1922) による。

期待値 μ と分散 σ² を持つ独立同分布 ("i.i.d.") に従う確率変数列 X₁, X₂, … に対し $\textstyle S_{n}:=\sum _{k=1}^{n}X_{k}$$\textstyle S_{n}:=\sum _{k=1}^{n}X_{k}$とおくと、

$P\left({\frac {S_{n}-n\mu }{{\sqrt {n}}\sigma }}\leq \alpha \right)\to {\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\alpha }e^{-x^{2}/2}dx\qquad (n\to \infty ).$$P\left({\frac {S_{n}-n\mu }{{\sqrt {n}}\sigma }}\leq \alpha \right)\to {\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\alpha }e^{-x^{2}/2}dx\qquad (n\to \infty ).$
つまり、独立同分布に従う確率変数列の部分和を標準化すると、期待値 0, 分散 1の正規分布 N(0, 1) に分布収束する。

従って、n が十分大きいとき近似的に、部分和 S_n= X₁+ … + X_nは平均 nμ, 分散 nσ² の正規分布 N(nµ, nσ²) に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\dotsb +X_{n})/n$${\bar {X}}_{n}=(X_{1}+\dotsb +X_{n})/n$は平均 μ, 分散 σ²/n の正規分布 N(μ, σ²/n) に従う。

証明

中心極限定理は特性関数︵とレヴィの連続性定理︶を用いることにより証明できる。

{X₁, …, X_n} を独立同分布に従う確率変数とする。分布の平均を µ、分散を σ² とする。ここで部分和 S_n= X₁+ … + X_nを考えると、その平均と分散はそれぞれ nµ, nσ² となる。ここで確率変数

$Z_{n}={\frac {S_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}=\sum _{j=1}^{n}{\frac {X_{j}-\mu }{\sqrt {n\sigma ^{2}}}}={\frac {1}{\sqrt {n}}}\sum _{j=1}^{n}Y_{j}$$Z_{n}={\frac {S_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}=\sum _{j=1}^{n}{\frac {X_{j}-\mu }{\sqrt {n\sigma ^{2}}}}={\frac {1}{\sqrt {n}}}\sum _{j=1}^{n}Y_{j}$
を考える。最後の式では、平均 0、分散 1の新しい確率変数 Y_j= (X_j − μ)/σ を定義した。 ここで、Z_n の特性関数は、独立性より積の期待値は期待値の積になるため、

${\displaystyle \varphi _{Z_{n}}($t)\equiv \operatorname {E} [\exp(\mathrm {i} tZ_{n})]=\operatorname {E} \left[\prod _{j=1}^{n}\exp \left({\frac {\mathrm {i} tY_{j}}{\sqrt {n}}}\right)\right]=\prod _{j=1}^{n}\operatorname {E} \left[\exp \left({\frac {\mathrm {i} tY_{j}}{\sqrt {n}}}\right)\right]=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}} $\varphi _{Z_{n}}(t)\equiv \operatorname {E} [\exp(\mathrm {i} tZ_{n})]=\operatorname {E} \left[\prod _{j=1}^{n}\exp \left({\frac {\mathrm {i} tY_{j}}{\sqrt {n}}}\right)\right]=\prod _{j=1}^{n}\operatorname {E} \left[\exp \left({\frac {\mathrm {i} tY_{j}}{\sqrt {n}}}\right)\right]=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}$
最後の等式は全ての Y_jは同一分布に従うため同じ特性関数を持つことから導いた。ここで、${\displaystyle \varphi _{Y_{1}}($t)} $\varphi _{Y_{1}}(t)$ をマクローリン展開する。

${\begin{aligned}\varphi _{Y_{1}}(0)&=\left.\operatorname {E} \left[e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=1\\\varphi _{Y_{1}}'(0)&=\left.\operatorname {E} \left[\mathrm {i} Y_{1}e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[\mathrm {i} Y_{1}\right]=\mathrm {i} \operatorname {E} \left[Y_{1}\right]=0\\\varphi _{Y_{1}}''(0)&=\left.\operatorname {E} \left[-Y_{1}^{2}e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[-Y_{1}^{2}\right]=-\operatorname {V} \left[Y_{1}\right]=-1\end{aligned}}$${\begin{aligned}\varphi _{Y_{1}}(0)&=\left.\operatorname {E} \left[e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=1\\\varphi _{Y_{1}}'(0)&=\left.\operatorname {E} \left[\mathrm {i} Y_{1}e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[\mathrm {i} Y_{1}\right]=\mathrm {i} \operatorname {E} \left[Y_{1}\right]=0\\\varphi _{Y_{1}}''(0)&=\left.\operatorname {E} \left[-Y_{1}^{2}e^{\mathrm {i} tY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[-Y_{1}^{2}\right]=-\operatorname {V} \left[Y_{1}\right]=-1\end{aligned}}$
より

$\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)=1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}}),\quad n\rightarrow \infty$$\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)=1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}}),\quad n\rightarrow \infty$
となる。ここで、O はランダウの記号である。この式と指数関数の定義

$e^{x}=\lim _{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}$$e^{x}=\lim _{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}$
を用いると、$\varphi _{Z_{n}}\left(t\right)$$\varphi _{Z_{n}}\left(t\right)$ の $n\to \infty$$n\to \infty$における極限が以下のように求められる。

$\varphi _{Z_{n}}\left(t\right)=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}=\left(1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}})\right)^{n}=\left(1+{\frac {-{\frac {t^{2}}{2}}+O(n^{-{\frac {1}{2}}})}{n}}\right)^{n}\to e^{-t^{2}/2},\quad n\to \infty$$\varphi _{Z_{n}}\left(t\right)=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}=\left(1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}})\right)^{n}=\left(1+{\frac {-{\frac {t^{2}}{2}}+O(n^{-{\frac {1}{2}}})}{n}}\right)^{n}\to e^{-t^{2}/2},\quad n\to \infty$
最後の関数は標準正規分布 N(0, 1) の特性関数である。特性関数と確率分布の対応は一対一なので、この結果は $n\to \infty$$n\to \infty$の極限で Z_nが N(0, 1) に収束することを意味する。なお、厳密に特性関数の収束と確率分布関数の収束の対応関係が成り立つことはレヴィの連続性定理により保証される。

以上により、部分和 S_n= X₁+ … + X_nは正規分布 N(nµ, nσ²) に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\cdots +X_{n})/n$${\bar {X}}_{n}=(X_{1}+\cdots +X_{n})/n$は正規分布 N(µ, σ²/n) に収束することが証明された。

正規分布に収束しない場合

より一般化された確率理論︵確率の公理︶では、中心極限定理は弱収束理論 (weak-convergence theories) の一部となる。それによると、独立同分布 (i.i.d.) に従う確率変数の分散︵2次のモーメント︶が有限な場合は﹁確率変数の和の確率分布﹂は変数の数が多くなるに従い正規分布に収束するが、確率変数が従う分布の裾が |x|^−α−1︵ただし 0 < α <2︶のべき乗で減衰する場合︵分布の裾が厚くなり分散は無限大に発散して︶︵正規分布には収束せず︶特性指数 α の安定分布に収束する。

※なお安定分布は特性指数が 0 < α <2 のとき分散は無限大となり、分布の裾が冪乗則に従うファットテールを有する。

脚注

出典

参考文献

●Feller, William (1968). An introduction to probability theory and its applications. I (Third ed.). John Wiley & Sons, Inc.. ISBN 0-471-25711-7 

●W. フェラー﹃確率論とその応用︵第1巻、第2版︶﹄ 下巻、紀伊国屋書店、1961年。NDLJP:2421978。 

関連項目

• 確率論
• 大数の法則
• ド・モアブル=ラプラスの定理