グラフィカルモデル

グラフィカルモデル(英語: Graphical model)は、グラフが、確率変数間の条件付き依存構造を示しているような確率モデルである。これらは一般に確率論や統計、特にベイズ統計や機械学習で使用される。

グラフィカルモデルの例。各矢印は依存関係を示している。この例では、DがAに依存し、DがBに依存し、DがCに依存し、CがBに依存し、そしてCがDに依存している。

グラフィカルモデルの種類

一般的には、多次元空間上の完全な分布と、ある特定の分布が保持する独立性の集合のコンパクトかつ分解された︵factorized︶表現であるグラフを表現するための基盤として、確率的グラフィカルモデルはグラフベースの表現を使用している。グラフィカルな分布の表現でよく使われるものにベイジアンネットワークとマルコフ確率場がある。両者は分解と独立性の性質を包含するが、表現することができる独立性の集合と、導く分布の分解が異なる。

ベイジアンネットワーク

詳細は「ベイジアンネットワーク」を参照

もし、モデルのネットワーク構造が有向非巡回グラフならば、そのモデルは、すべての確率変数の同時確率の積で表される。厳密に言うと、事象を$X_{1},\ldots ,X_{n}$$X_{1},\ldots ,X_{n}$とすると、共起確率は次を満たす:

$P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]$$P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]$
ここで$pa_{i}$$pa_{i}$はノード$X_{i}$$X_{i}$の親である。言い換えれば、同時確率は条件付き確率の積に因数分解される。例えば、上に指名した図のグラフィカルモデルは、同時確率が次のように因数分解される確率変数$A,B,C,D$$A,B,C,D$によって構成されている:

${\displaystyle P[A,B,C,D]=P[$A]P[B]P[C|B,D]P[D|A,B,C].} $P[A,B,C,D]=P[A]P[B]P[C|B,D]P[D|A,B,C].$
どの2つのノードも、それらの親ノードによる条件付き独立である。一般に、d-separation︵英語: d-separation︶と呼ばれる基準をグラフが満たしていれば、どの2つのノード集合も第3の集合による条件付き独立となる。ベイジアンネットワークにおいては、局所独立性と大域独立性は等しい。

このグラフィカルモデルは有向非巡回グラフであるベイジアンネットワーク(Bayesian network, Belief network)として知られている。隠れマルコフモデルやニューラルネットワークといった古典的な機械学習モデルや、Variable-orderマルコフモデル︵英語: variable-order Markov model︶のような新しいモデルは、ベイジアンネットワークの特殊ケースと考えることができる。

マルコフ確率場

詳細は「マルコフ確率場」を参照

マルコフ確率場(マルコフネットワーク)は無向グラフ上のモデルである。繰り返し構造を多く持つグラフィカルモデルはプレートノーテーション︵英語: Plate notation︶を用いて表すことができる。

他の種類

●因子グラフ︵英語: factor graph︶は変数と因子を繋ぐ無向2部グラフである。それぞれの因子はそれと繋がっている変数の確率分布を表現する。グラフは、確率伝搬法を作用させるために因子グラフの形に変形される。

●クリークツリー︵英語: clique tree︶は、クリークの木であり、Junction Treeアルゴリズム︵英語: Junction tree algorithm︶)で用いられる。

●連鎖グラフ︵英語: chain tree︶)は有向エッジと無向エッジの両方を持つことを許した、有向な閉路を持たない︵つまり、どのノードからスタートしても、枝の方向に従って移動すれば始点に戻らない︶グラフである。有向非巡回グラフも無向グラフも連鎖グラフの特殊ケースであり、それゆえベイジアンネットワークやマルコフネットワークを単一化したり一般化したりすることができる。

●Ancestralグラフ︵英語: Ancestral graph︶は拡張版であり、有向エッジ、双方向エッジ、無向エッジを持つ。

●条件付き確率場(Conditional random field)は無向グラフ上の識別モデルである。

●制限ボルツマンマシン(Restricted Boltzmann machine)は無向グラフ上の生成モデルである。

応用

このモデルのフレームワークは、複雑な分布を簡潔に記述したり、分布中の非構造化情報を抽出したりするために、その構造を発見し分析するアルゴリズムを提供する。さらにそれらを構築し有効的に利用することを可能にする。グラフィカルモデルの応用には、情報抽出、音声認識、コンピュータビジョン、低密度パリティ検査符号の復号、遺伝子調節ネットワーク︵英語: gene regulatory network︶のモデリング、遺伝子の発見および疾患の診断、タンパク質構造のためのグラフィカルモデル︵英語: graphical models for protein structure︶などがある。

参考文献

書籍

• Bishop, Christopher M. (2006). “Chapter 8. Graphical Models”. Pattern Recognition and Machine Learning. Springer. pp. 359–422. ISBN 0-387-31073-8. MR2247587. http://research.microsoft.com/~cmbishop/PRML/pdf/Bishop-PRML-sample.pdf 
• Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L.; Spiegelhalter, David J. (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 0-387-98767-3. MR1697175  A more advanced and statistically oriented book
• Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 0-387-91502-8 
• Koller, D.; Friedman, N. (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. pp. 1208. ISBN 0-262-01319-3 
• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (2nd revised ed.). San Mateo, CA: Morgan Kaufmann. ISBN 1-55860-479-0. MR0965765  A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.

ジャーナル記事

• Edoardo M. Airoldi (2007). “Getting Started in Probabilistic Graphical Models”. PLoS Computational Biology 3 (12): e252. doi:10.1371/journal.pcbi.0030252. PMC 2134967. PMID 18069887. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2134967/. 
• Jordan, Michael I. (2004). “Graphical Models”. Statistical Science 19 (1): 140–155. doi:10.1214/088342304000000026. ISSN 0883-4237. 

その他

• Heckerman's Bayes Net Learning Tutorial
• A Brief Introduction to Graphical Models and Bayesian Networks
• Sargur Srihari's lecture slides on probabilistic graphical models

関連項目

• 確率伝搬法
• 共分散構造分析