高斯混合模型(Gaussian Mixture Model)

高斯分布

其中 μ 為平均值  (Mean) ， σ 為標準差 (Standard Deviation)

高斯混合模型

利用高斯模型的平均值描述特徵參數的分佈位置，共變異矩陣來描述分型形狀的變化，因此高斯混合模型可以很平滑的描述聲音的特徵分佈

高斯混合模型 (10 個高斯成分 ) 表示圖

高斯混合模型• 用一個高斯混合模型來表示一位語者

高斯混合模型• 高斯混合密度為 M 個高斯密度的權重加總，其公式為 :

• 混合權重必須符合 之條件

• 基本密度是 D 維的高斯函數

M

iii xbwxp

1

)()|(

其中 為特徵向量， 為高斯機率密度值， wi 為混合權重值x

)(xbi

M

iiw

1

1

)}()(2

1exp{

||)2(

1)( 1

2/12/ iiT

ii

Di xxxb

其中 為平均向量， 為共變異矩陣， D 為特徵向量的維度 i

i

演算法流程

LBG 演算法

Dtotal = D1 + D2

D1

D2

LBG 演算法• 計算整體平均向量

• 進行分裂 :

• 將分裂後的平均向量進行分類，並計算出新群集的平均向量

T

ttx

T 1

1

)1(

)1(

mm

mm

LBG 演算法• 計算平均向量與特徵參數的距離總和，使得總體距離和獲

得最小，也就是當更新率小於 δ 時即停止

• 重複之前的步驟，直到分裂到所設定的數目

D

DD )'(

其中， D’ 為前一回合的總距離值

EM 演算法

估算初始參數值• 假設有 12 個特徵參數 ( 音框 ) ，分群後的其中一個 A 群

聚由特徵參數 1 、 4 、 7 和 8 四個特徵參數所組成，如下 :

• 混合權重值 wi

• 平均向量

1 2 3

4 5 6

7 8 9

10 11 12

特徵參數 1

特徵參數 4

特徵參數 7

特徵參數 8

4/12=0.3334

i

T

ttx

T 1

1 5.5 6.5 7.5

估算初始參數值

• 共變異矩陣 i

]))([(]))([(

]))([(]))([(]))([(

]))([(]))([(]))([(

]])[])([[(

11

2222221122

1122111111

Tnnnn

Tnn

Tnn

TT

Tnn

TT

T

XXEXXE

XXEXXEXXE

XXEXXEXXE

XEXxEXE

估算初始參數值• 假設有三組特徵參數分別為 ，

則

]65[]43[]21[ 321 XXX

)4

6

4

2

(46423

1)3

5

3

1

(46423

1

)4

6

4

2

(35313

1)3

5

3

1

(35313

1

1 2

3 4

5 6平均值為 3 平均值為 4

667.2667.2

667.2667.2

EM 演算法

• 取得第 i 個混和的事後機率值

M

k tkk

tiit

xbw

xbwxip

1)(

)(),|(

第 1 個特徵參數第 2 個特徵參數第 3 個特徵參數第 4 個特徵參數

w1b1

w2b2

w3b3

EM 演算法• 對各參數進行重新估算

T

tti xip

Tw

1

),|(1

T

t t

T

t tti

xip

xxip

1

1

),|(

),|(

T

t t

T

t itT

itti

xip

xxxip

D1

1

),|(

)())(,|(1

EM 演算法• 進行最大相似估算

• 收斂條件

T

tt

T

tt xpxpXp

11

)|(log)|()|(

)|()|( )()1( kk XpXp 收斂門檻

M

itiit xbwxp

1

)()|( 其中

辨識• 將每個樣本與待測的語音進行最大相似估算，機率值最大

的，即為答案

SkkXpS

1

)|(maxargˆ

T

tkt

SkxpS

11

)|(logmaxargˆ