Post on 04-Jan-2016
description
ベイジアンネットワーク概説
3.3 ベイジアンネットワークの母数推定
茨城大学工学部佐々木稔
はじめに サンプルデータ数の影響を考慮した推論
母数(パラメトリック)モデルの導出 母数モデル
確率構造 BS のとき、 3.2 節より
θijk : 親ノード変数集合 pa(Xi) のうち、 j 番目の パターンをとり、 Xi = k となる条件付き確率
の母数 Θ= {θijk} (i=1, ・・・ , n ; j=1, ・・・ , qi ; k=0, ・・・ ,ri-1)
n
isiiSn BXpaXpBXXXp
121 ,|)|,,,(
iXi = k
W1 = a1 Wt = at
W = ( a1, a2, ・・・ , at )がパターンこのパターンが qi 個存在
W = ( a1, a2, ・・・ , at )と Xi = kとなるデータ数が Nijk
Θについての尤度 Xを所与としたときのパラメータ Θについての尤度 多項分布に従う この尤度が最大となる母数を求める
n
i
q
j
r
k
Nijk
n
i
q
j
r
k
Nijkr
kijk
r
kijk
s
i iijk
i iijk
i
i
N
NBp
1 1
1
0
1 1
1
01
0
1
0
!
!,|
X
)1(10
)1(10)1(10
1
01
01
0
1
0
!!!
!
!
!
irij
i
ijij
i
i
iijk
i
i
N
rijNij
Nij
rijijij
r
kijkr
k
Nijkr
kijk
r
kijk
NNN
N
N
N
全試行回数
ラベル 0 1 ・・・ ri - 1
確率 θij0 θij1
・・・θij(ri -1)
回数 Nij0 Nij1
・・・Nij(ri -1)
独立試行確率の計算
事前分布の推定 パラメータ θ についての事前分布 p(θ|BS) 自然共益事前分布の導入
ディリクレ (Dirichlet) 分布 事前、事後の分布形を同一にする N’ijk は Nijk に対応するハイパーパラメータ
n
i
q
j
r
k
Nijkr
kijk
r
kijk
s
i iijk
i
i
N
N
Bp1 1
1
0
1
1
0
1
0|
事前分布の推定 i, j, k 以外は積分するとベータ分布になる
1
2
)1(110
2
||
ijk
ii
Nijk
ijk
ijk
rnqsijksijk
N
N
ddBpBp
母数値とベータ分布の形状
0
1
2
3
4
5 ホールデン事前分布
β(0.5, 0.5)
β(10, 9)
β(1.0, 1.0)
母数推定 事後分布 p(X, θ|BS) 尤度と事前分布の積
n
i
q
j
r
k
NNijk
n
i
q
j
r
k
NNijkr
kijk
r
kijk
s
i iijkijk
i iijkijk
i
i
N
N
Bp
1 1
1
0
1
1 1
1
0
1
1
0
1
0|,
X
母数推定 事後分布 p(X, θ|BS) を最大化する
このとき、
より、
ijk
n
i
q
j
r
kijkijks
i i
NNBp log 1|,log1 1
1
0
X
2
0k)1( 1
i
i
r
ijkrij
1log1 log1|,log1 1
2
0
2
0
n
i
q
j
r
k
r
kijkijkijkijkijkijks
i i i
NNNNBp X
母数推定 θijk で偏微分したものが 0 となる θijk を求める
0
1
11
|,log
1 1
2
02
0
n
i
q
j
r
kr
kijk
ijkijk
ijk
ijkijk
ijk
s
i i
i
NNNN
d
Bpd
X
母数推定推定値は
ただし、ijij
ijkijkijk NN
NN
1
0
1
0
, ii r
kijkij
r
kijkij NNNN
数値例 θijk の推定値と真の値との平均二乗誤差 3.2 節のデータを利用
3.2節のデータの推定値真の値 N’ijk=0 N’ijk=1 N’ijk=1/2
p(X2=1|X1=1) 0.8 0.8 0.76 0.78
p(X2=1|X1=0) 0.2 0 0.14 0.08
p(X3=1|X1=1) 0.8 0.8 0.76 0.78
p(X3=1|X1=0) 0.2 0 0.14 0.08
p(X4=1|X2=1, X3=1) 0.8 0.66 0.64 0.65
p(X4=1|X2=1, X3=0) 0.2 0.5 0.5 0.5
p(X4=1|X2=0, X3=1) 0.6 0.5 0.5 0.5
p(X4=1|X2=0, X3=0) 0.2 0.4 0.43 0.41
p(X5=1|X3=1) 0.8 0.67 0.64 0.42
p(X5=1|X3=0) 0.2 0.33 0.35 0.34
真の値との二乗誤差 0.0193 0.015 0.028