@siero5335

#ぞくパタ ドワンゴ様@東銀座 2015/01/06

第2回「続・わかりやすいパターン認識」読書会第2章: 事前確率と事後確率

　目次

2.1  事後確率の計算    2.2  ベイズ更新    2.3  ベイズ更新の実験    

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

箱のなかのコイン含有率が 　 　　 π1 π2 π3 コインを投げた時に表が出る確率が 　　　 θ1 θ2 θ3 のとき、1枚取り出したコインを投げたら表が出た

(1) このときコインがそれぞれω1, ω2, ω3である確率は？ (2) π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.３ のとき、上記確率は？

箱のなかのコイン含有率 π1, π2, π3の合計はもちろん1 コインを投げた時に表が出る確率が θ1, θ2 , θ3 : 本来なら表の出る確率は0.5のはずだが… 　　　　　　　 今回の例題ではコインに細工がある コインが表の時: X = H, コインが裏の時: X = Tとする 今回求めたいのは以下の

出たのがXである時コインはωiである確率

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

! !! ! = !! ! !!! ! �! !!

P(X)は以下のように書ける

さらに、

また、コインを投げて表P(H|ωi), 裏の出る確率P(T|ωi)は

直接結果であるP(ωi|x)を求めるのは難しいが含有率は

上記の確率はすべて投げる前にわかってる事前確率。

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

! ! = ! ! !!

!

!!!!! !|!!

! !!

!

!!!= 1 ! !!|!

!

!!!= 1!(! = !,!) ! ! = ! ! + ! ! = 1

!!! ,!

!(!|!!) = !! ! ! !! = 1− !!

!(!!) = !!

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

! !! ! = !! ! !!! ! �! !!

!(!!) = !! ! ! = ! ! !!

!

!!!!! !|!!

!(!|!!) = !! ! ! !! = 1− !!

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

事前確率を　　　　　　　　　に代入していくと、 　　　　　　　　　　　　　を得ることができる。 これをさらにベイズの定理に代入すると、

また、裏が出た時の場合は で示すことができる。

! ! = ! ! !!

!

!!!!! !|!!

! ! = ! !!

!

!!!!! !|!! = !!

!

!!!!!

! !! ! = !! !|!!!(!) �! !! = !!!!

!!!!!! !!

! !! ! = !!(1− !!)!!!

!!! (1− !!)

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

! !! ! = !! ! !!! ! �! !!

!(!!) = !! ! ! = ! ! !!

!

!!!!! !|!!

!(!|!!) = !! ! ! !! = 1− !!

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

箱のなかのコイン含有率が 　 　　 π1 π2 π3 コインを投げた時に表が出る確率が 　　　 θ1 θ2 θ3 のとき、1枚取り出したコインを投げたら表が出た

(1) このときコインがそれぞれω1, ω2, ω3である確率は？ (2) π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.３ のとき、上記確率は？

   2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ  

ω1 ω2 ω3

!!!

!!!!! = 0.1!×!0.8+ !0.4!×!0.6+ !0.5×!0.3 = 0.47

! !! ! = !0.1!×!0.80.47 = 0.170

! !! ! = !0.4!×!0.60.47 = 0.511

! !! ! = !0.5!×!0.30.47 = 0.319

代入すると、

となり、これが問2の答えになる コインを1回投げて表が出た時、ω1の確率が事前確率に比べ

て高くなり、ω３の確率が低くなっている

事前確率    

0.100      0.400      0.500

事後確率  

   2.1  事後確率の計算:  例題1-­‐2  コインn回投げ  

ω1 ω2 ω3

箱のなかのコイン含有率が 　 　　 π1 π2 π3 コインを投げた時に表が出る確率が 　　　 θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたらr回表が出た このときコインがそれぞれω1, ω2, ω3である確率は？

   2.1  事後確率の計算:  例題1-­‐2  コインn回投げ  

ω1 ω2 ω3

箱のなかのコイン含有率が 　 　　 π1 π2 π3 コインを投げた時に表が出る確率が 　　　 θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたらr回表が出た このときコインがそれぞれω1, ω2, ω3である確率は？

観測結果は x(n) = x1x2…xt…xn と書く

ここでxtはt回目の観測結果であり

xt ∈ {H, T} (t = 1,2,..., n) と書く

   2.1  事後確率の計算:  例題1-­‐2  コインn回投げ  

ω1 ω2 ω3

観測結果x(n) が得られる確率P(x(n)|ωi) は、各試行が独立なので P(x(n)|ωi) = P(x1|ωi) P(x２|ωi)…P(xn|ωi) (i = 1, 2, 3) = θir (1-θi)n-r

観測結果x(n)が得られる確率P(x(n))は となり、ベイズの定理と組み合わせて解である が得られる。

! !(!) = ! ! !!

!

!!!!! !(!)|!! = ! !!

!

!!!!!!(1− !!)!!!

! !!|!(!) = ! !(!)|!!! !(!) !�! !! = ! !!!!!(1− !!)!!!

!!!!!! !!!(1− !!)!!!

!

   2.1  事後確率の計算:  例題1-­‐2  コインn回投げ  

ω1 ω2 ω3

同一条件で同じ試行を繰り返す時、それぞれの試行は独立であり、 他の試行に影響を与えない。 →ベルヌーイ（Bernoulli）試行と呼ぶ。 この章で出てくるのは２項分布（Binomial）と呼ばれる。 n = 1とするとr = 0, r = 1となる確率がθ, 1-θの確率分布が 得られる。これを特にベルヌーイ分布といい、以下のように示す。

!! !;! = ! !!!! !!!(1− !)!!! !

!"#$ !;! = !! !;! = !!! 1− ! !!! ! 0 ≤ ! ≤ 1 !(! ∈ 0, 1 )

   2.2  ベイズ更新  

ω1 ω2 ω3

さっきまでは直接事後確率P(ωi|x(n))を求めてきたが、 ここからはベイズ更新を使って逐次的に事後確率を求める。

   2.2  ベイズ更新  

ω1 ω2 ω3

さっきまでは直接事後確率P(ωi|x(n))を求めてきたが、 ここからはベイズ更新を使って逐次的に事後確率を求める。 1回投げたとき ! !! !! = ! !! !!

!(!!) �!!(!!)!

= !(!!|!!)!(!!)!

!!! !(!!|!!)�!! !! !(! = 1, 2, 3)!

   2.2  ベイズ更新  

ω1 ω2 ω3

2回投げたときには 1回目の事前確率P(ωi|x1)を使ってP(ωi|x1x2)を求める

以下に示した各回の試行の独立性を使用

! !! !!!! = ! !!!! !!!(!!!!) �!!(!!)!

= !(!!)!(!!|!!)!(!!|!!)!(!!)!

!!! !(!!|!!)!(!!|!!)!

! !!!! !! = !! !! !! �! !! !! !!(! = 1, 2, 3)!

分子・分母をP(x1)で割って以下を使う  

= !(!!|!!)!(ω!|!!)!(!!|!!)!

!!!�!! !!|!! !!(! = 1, 2, 3)!

! !! !! = ! !! !!!(!!) �!!(!!)!

   2.2  ベイズ更新  

ω1 ω2 ω3

一般化すると １回投げた時のP(x1|ωi)が P(xn|ωi), P(ωi)が P(ωi|x(n-1)) に →コインをn回投げた時の事後確率 P(ωi|x(n)) を求めたい時は これまで投げた (n-1) 回の観測結果に基づく事後確率である P(ωi|x(n-1)) を事前確率としてベイズの定理を適用する →　ベイズ更新 (Bayesian updating)！

! !! !(!) = ! !! !!!(!!|!(!!!))!

!!! !(!!|!!)�!!(!!|!(!!!))!

ω1 ω2 ω3

箱のなかのコイン含有率が 　 　　 π1 π2 π3 コインを投げた時に表が出る確率が 　　　 θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたら表がH回出た

　　π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.6 のとき 　　コインがそれぞれω1, ω2, ω3である確率は？

今回の実験では投げたコインはω1とする

   2.3  ベイズ更新の実験:  実際に試してみる  

ω1 ω2 ω3

10回投げたら観測結果は x(10) = x1x2…xｔ…x10 = HHHHTHHTHT (H = 表, T = 裏)

割合は0.7であり、実際の0.8に近いが... P(ω1|x(10)) = 0.182 P(ω2|x(10)) = 0.777　　ω1のはずがω２の確率のほうが大 P(ω3|x(10)) = 0.041 ω1の事前確率は0.1だからね…事前確率に引っ張られている →投げる回数を増やしてみる

   2.3  ベイズ更新の実験:  実際に試してみる  

ω1 ω2 ω3

100回投げたら観測結果は

表 = 88, 裏 = 12

このとき

P(ω1|x(100)) = 0.9999998 P(ω2|x(100)) = 0.0000002　　 P(ω3|x(100)) ≒ 0 事前確率の影響を観測数を増やすことで排除！

   2.3  ベイズ更新の実験:  実際に試してみる  

   まとめ  

2.1  事後確率の計算                事前確率と観測を組み合わせて事後確率を計算    2.2  ベイズ更新  　 観測するたびに前の結果を踏まえて確率が変わる    2.3  ベイズ更新の実験  　  観測数が少ないと事前確率の影響を受ける 観測数を増やすことで影響を排除できる