ブートストラップ法
統計学におけるブートストラップ法（ブートストラップほう、英: bootstrap method）とは、様々な目的に用いられる統計的推論の手法であり、再標本化法に分類されるもののひとつである。モンテカルロ法の一つ。
概要
編集
ブートストラップ法は母集団の推定量︵分散など︶の性質を、近似分布にしたがって標本化したときの性質を計算することで推定する手法である。近似分布としては、測定値から求められる経験分布を用いるのが標準的である。また仮説検定に使う場合もある。仮定される分布が疑わしい場合や、パラメトリックな仮定が不可能ないし非常に複雑な計算を必要とするような場合に、パラメトリックな仮定に基づく推計の代わりに用いられる。
ブートストラップ法の利点は解析的な手法と比べて非常に単純なことである。母集団分布の複雑なパラメータ︵パーセンタイル点、割合、オッズ比、相関係数など︶の複雑な推定関数に対して標準誤差や信頼区間を求めるために、単にブートストラップ標本を適用するだけで済む。
一方ブートストラップ法の欠点として、漸近的に一致する場合には有限標本が保証されず、楽観的になる傾向がある。
例: フィッシャーのアヤメ
編集
この手法の基本概念と価値を示すため、やや人工的な例を用いる。フィッシャーによる有名なアヤメの計測値︵アヤメの花データセットを参照︶を用い、バージニアアヤメとヘンショクアヤメの2種を判別するモデルを構築することを考える。
この2種を、がく片の長さのみを説明変数として判別するロジスティック回帰モデルを考え、最尤法を用いると、次表のとおりパラメータの最尤推定値と標準誤差が得られる。
| 説明変数 | 最尤推定値 | 標準誤差 |
|---|---|---|
| 切片 | -12.57 | 2.91 |
| がく片長 | 2.01 | 0.47 |
モデル式
2.01×がく片長-12.57≧0のときバージニアアヤメと判別
2.01×がく片長-12.57＜0のときヘンショクアヤメと判別
︵このモデル式では、バージニアアヤメは標本50個中37個、ヘンショクアヤメは50個中36個が正しく判別されている。︶
最尤推定値は漸近的には正規分布することが知られている。今回の標本50個ずつのデータで出した最尤推定値︵切片: −12.57、がく片長の係数: 2.01︶が、どの程度正規分布に近いか、ブートストラップ法で以下のように調べることができる。
(一)元データから n個の標本を復元抽出する。このとき nは元データの標本数である。
(二)最尤法でロジスティック回帰モデルに当てはめる。
(三)このブートストラップ抽出を何度も︵B 回︶繰り返す。
(四)こうして計算された﹁推定量の標本分布﹂は、本来の標本分布の近似になっている。
下図は10000回のブートストラップ抽出により推定された2つのパラメータのカーネル密度プロットである。
ブートストラップ法のいろいろ
編集一変量の解析では、普通は復元抽出で再標本化して構わない。しかし標本数が少ない場合にはパラメトリックなブートストラップ法の方が適切な場合もあるし、問題によっては平滑化ブートストラップ法が適切になるだろう。回帰問題の場合には様々な代替法がある。
平滑化ブートストラップ
編集これは毎回の繰り返しごとにわずかな（ふつうは正規分布の）ゼロ平均ランダムノイズを加える方法である。これはデータのカーネル密度推定量から再標本化することと等価である。
パラメトリックブートストラップ
編集パラメトリックなモデルを（たいていは最尤法により）データに当てはめ、このモデルからランダムな個数の再標本化を行う方法である。
個別の再標本化
編集
回帰問題において、個々のケース︵たいていはデータセットの各行︶について再標本化を行う単純な方法をいう。データセットが十分大きければ、たいていこういう単純な方法でも構わない。しかし議論の余地はある。
説明変数はたいてい固定されているか、少なくとも従属変数よりも支配的である。また説明変数の範囲がそこから引き出される情報を規定する。したがって個々のケースを再標本化することは、ブートストラップ標本は何らかの情報を失っていることを意味する。したがって他のブートストラップ法を考慮すべきである。
残余の再標本化
編集
回帰問題におけるブートストラップを行うもう一つの方法は、残余を再標本化するものである。すなわち、
(一)モデルを当てはめ、当てはめた値を ˆμi, 残余を ri(i = 1, ..., n) とする。
(二)説明変数 xiと従属変数 yiの組 (xi, yi) のそれぞれについて、ランダムに標本化した残余 riを従属変数 yiに加える。
(三)モデルを再度当てはめ、目的の量︵たいていは推定したパラメータ︶を記録する。
(四)2と3のステップを B回繰り返す。
この方法は説明変数の持つ情報を保持しているという利点がある。しかしどの残余を標本化するのかという疑問が起こる。そのままの残余を用いる手もあるし、︵線形回帰では︶スチューデント化残差を用いることもできる。スチューデント化残差を使う方が好ましいという議論はあるのだが、実際にはほとんど差がでない上、双方を用いて互いに結果を比べることは容易である。
大雑把なブートストラップ
編集前項と同様だがランダムに標本化した残余の符号をさらにランダムに変えるものである。これは残余の分布が対称なことを仮定しており、元の標本数が少ない場合に利点がある。
応用例
編集媒介変因の検定
編集ブートストラップ法は正規性を要求せず少ない標本数（N < 20）でも効果的であるため、媒介変因を検定する手法として一般的になりつつある[1][2]。しかしバロンとケニーの論理[3]やソーベル検定により（もしかしたら不適切に）決定されることがいまだに多い。
平滑化ブートストラップの例
編集
ニューカムの光速のデータを用いる。このデータセットには2つの明白な外れ値が含まれており、このため推定する場所としては平均値よりも中央値が好ましい。ブートストラップ法は中央値の信頼区間を推定するのに採用されることが多い。しかし中央値は離散統計量であり、このことはブートストラップ標本の分布で際立って明らかになる。
中央値の離散性を平滑化するために、毎回のブートストラップ標本に N(0, σ2) に従う、わずかなランダムノイズを加えることができる。標本数 nに対して σ = 1/√n とする。
ブートストラップ標本と平滑化ブートストラップ標本のヒストグラムを以下に示す。ブートストラップ標本では中央値として取り得る値が限られているため非常にギザギザした分布になっている。平滑化ブートストラップ標本ではこの点が克服されている。
他の再標本化法との関係
編集ジャックナイフ法は外れ値の検出に、クロスバリデーションは再現性の確認に用いられるものである。
脚注
編集
(一)^ “Testing of Mediation Models in SPSS and SAS”. School of Communication. The Ohio State University. 2005年8月12日時点のオリジナルよりアーカイブ。2024年7月17日閲覧。
(二)^ Preacher, Kristopher J.. “Calculation for the Sobel Test”. Department of Psychology. University of Kansas. 2007年10月18日時点のオリジナルよりアーカイブ。2007年12月21日閲覧。
(三)^ Kenny, David A. (2024年3月26日). “SEM: Mediation”. 2024年7月17日閲覧。
参考文献
編集- 汪金芳; 大内俊二; 景平; 田栗正章「ブートストラップ法」『行動計量学』第19巻、第2号、50–81頁、1992年。doi:10.2333/jbhmk.19.2_50。
- Efron, Bradley (1979). “Bootstrap Methods: Another Look at the Jackknife”. The Annals of Statistics 7 (1): 1–26.
- Efron, B. (1981). “Nonparametric estimates of standard error: The jackknife, the bootstrap and other methods”. Biometrika 68: 589-599.
- Efron, B. (1982). “The jackknife, the bootstrap, and other resampling plans”. Society of Industrial and Applied Mathematics CBMS-NSF Monographs: 38.
- Diaconis, P. & Efron, B. (1983). Computer-intensive methods in statistics. Scientific American, May, 116-130.
- Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. New York: Chapman & Hall, software.
- Mooney, C Z & Duval, R D (1993). Bootstrapping. A Nonparametric Approach to Statistical Inference. Sage University Paper series on Quantitative Applications in the Social Sciences, 07-095. Newbury Park, CA: Sage
- Bradley Efron; Robert Tibshirani (1994). An Introduction to the Bootstrap. Chapman & Hall/CRC
- Edgington, E. S.(1995). Randomization tests. New York: M. Dekker.
- Davison, A. C. and Hinkley, D. V. (1997): Bootstrap Methods and their Applications, software.
- Simon, J. L. (1997), Resampling: The New Statistics
- Hesterberg, T. C., D. S. Moore, S. Monaghan, A. Clipson, and R. Epstein (2005): Bootstrap Methods and Permutation Tests, software.