パターン認識と機械学習§8.3.4 有向グラフとの関係

PRML復々習レーン #122013/7/21(日)

ぷるうぬす@Prunus1350

2種類のグラフィカルモデル

• 有向グラフ• 無向グラフ

有向グラフで記述されるモデルを無向グラフに変換する問題を考える

無向グラフへの変換（簡単な例）

(a)有向グラフ

無向グラフへの変換（簡単な例）

(a)有向グラフ

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xN |xN�1)

条件付き分布の積として因数分解される

無向グラフへの変換（簡単な例）

(a)有向グラフ

(b)無向グラフ

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xN |xN�1)

無向グラフへの変換（簡単な例）

(a)有向グラフ

(b)無向グラフ

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xN |xN�1)

この無向グラフにおける極大クリークは隣接ノード対

無向グラフへの変換（簡単な例）

(a)有向グラフ

(b)無向グラフ

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xN |xN�1)

p(x) =1

Z

1,2(x1, x2) 2,3(x2, x3) · · · N�1,N (xN�1, xN )

無向グラフへの変換（簡単な例）

p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xN |xN�1)

p(x) =1

Z

1,2(x1, x2) 2,3(x2, x3) · · · N�1,N (xN�1, xN )

このような対応付けができる

無向グラフへの変換（簡単な例②）

親を2つ以上持つ有向グラフのノードが存在する場合

無向グラフへの変換（簡単な例②）

この有向グラフの同時分布はこのように表せる

p(x) = p(x1)p(x2)p(x3)p(x4|x1, x2, x3)

無向グラフへの変換（簡単な例②）

下線部の条件付き分布を1つのクリークポテンシャル関数に吸収させるためには　4つの変数　　　　　　　が1つのクリークに属していなければならない。

p(x) = p(x1)p(x2)p(x3)p(x4|x1, x2, x3)

x1, x2, x3, x4

無向グラフへの変換（簡単な例②）

親同士すべてをリンクで接続（モラル化）し、矢印による方向付けを消したものをモラルグラフと呼ぶ

有向グラフを無向グラフに変換するには

• グラフの各ノードに対してそのすべての親同士の対に無向リンクを付加する。

• もともとのリンクから矢印の方向性を取り除いてモラルグラフを作る。

• モラルグラフのすべてのクリークポテンシャル関数を1に初期化する。

• もともとの有向グラフの条件付き分布因子を1つ取ってきて、対応するクリークポテンシャルの1つに掛ける。

モラル化とは、リンクの追加を最小限に抑えることによって条件付き独立性をできる限り残す方法である。

依存性マップ

• あるグラフが、ある分布が満たす条件付き独立性をもれなく表現するとき、そのグラフをその分布に対する依存性マップ（dependency map、D-map）と言う。

• 全くリンクのない完全に分離されたグラフは、すべての分布に対する自明な依存性マップである。

独立性マップ

• あるグラフによって規定されるすべての条件付き独立性が、ある分布によって満たされるとき、そのグラフをその分布に対する独立性マップ（independence map、I-map）と言う。

• 全結合はすべての分布に対する自明な独立性マップである。

完全マップ

• ある分布の条件付き独立性があるグラフによってすべて表現され、逆にそのグラフが表現するすべての条件付き独立性をその分布が満たすならば、そのグラフをその分布の完全マップ（perfect map）と言う。

• つまり、完全マップは独立性マップでありかつ依存性マップでもある。

分布の集合のベン図

P：与えられた変数集合上のすべての可能な分布の集合

D：有向グラフを用いた完全マップで表現される分布の集合

U：無向グラフを用いた完全マップで表現される分布の集合

同じ3変数上の無向グラフでは表現できない条件付き独立性を持つ有向グラフの例

同じ変数上の有向グラフでは同じ条件付き独立性を表現できない無向グラフの例

連鎖グラフ

• グラフィカルモデルの枠組みは、有向リンクと無向リンクを両方持つグラフにも矛盾なく拡張できる。

• そのようなグラフは連鎖グラフと呼ばれる。• 有向グラフおよび無向グラフは連鎖グラフの特別な場合として含まれる。

• 連鎖グラフを用いても完全マップを作れない分布が存在する。

PRMLでは、連鎖グラフについてはこれ以上議論しない。

ご清聴ありがとうございました。