数式を使わずイメージで理解するEMアルゴリズム
14
数式を使わず イメージで理解する EMアルゴリズム 参考：「パターン認識と機械学習」下巻9章 @yag_ays Machine Learning Advent Calendar 2013
Transcript of 数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
参考：「パターン認識と機械学習」下巻9章@yag_ays
Machine Learning Advent Calendar 2013
✓
ln p(X|✓)
この図は対数尤度関数とパラメータの関係をおおまかにプロットしたものです
（PRML 図9.14参考）
ln p(X|✓)
横軸は最適化したいパラメータ縦軸は最大化したい対数尤度関数の値になっています
✓パラメータ
対数尤度関数
✓
ln p(X|✓)
EMアルゴリズムの目的は対数尤度関数が最大値になるときのパラメータを求めることです
✓
ln p(X|✓)
ただし対数尤度関数を直接最大化することはできません（解析的に求まらない・下図のような形がわからない）
✓
ln p(X|✓)
それではEMアルゴリズムで対数尤度関数を最大化しましょう
✓
ln p(X|✓)
まずパラメータの初期値を適当に決めます
✓
✓
ln p(X|✓)
Eステップでは現在のパラメータ値での下界を計算します青の点線が下界を表しています
✓
L(q, ✓)
Eステップ
✓
ln p(X|✓)
Mステップで下界を最大化するパラメータを新たに求めますつまり点線の最大値のところにパラメータをずらします
✓ ✓0
L(q, ✓)
Mステップ
✓
ln p(X|✓)
あとは同様にEステップとMステップを繰り返します
✓ ✓0
✓
ln p(X|✓)
✓ ✓0
L(q, ✓0)
Eステップ
あとは同様にEステップとMステップを繰り返します
✓
ln p(X|✓)
✓ ✓0 ✓00
L(q, ✓0)
Mステップ
あとは同様にEステップとMステップを繰り返します
✓
ln p(X|✓)
✓ ✓0 ✓00
ある程度パラメータや対数尤度値が収束すればEMアルゴリズムは終了です
✓
ln p(X|✓)
✓ ✓0 ✓00
これで対数尤度関数を最大にするパラメータが求められました！
