独立成分分析

５　アルゴリズムの安定性と効率

２００７ /１０ /２４　　　名雪　勲

独立成分分析の学習アルゴリズムの性質 (1/4)

前章で導いた式

の性質について説明する。まずは記号の意味について復習する。ｎ個の独立な成分を持つ記号 Stが時間 tに発生するものとして、これが線形に混ざったxt=Astが各時間 t=1,2,・・・に観測される。

tTtttt WyyIW })({

独立成分分析の学習アルゴリズムの性質 (2/4)

この時 y=Wx の x から元の s を復元したい。 がわかっていればいいが、わからない

ので、時間 t での W の候補を Wt として yt=Wtxt を観測するたびに、これを Wt+1=Wt+ΔWt

に変えていく学習アルゴリズムの話だった。ここで、 η ｔは学習の大きさを示す係数、 I は

単位行列、 φ(y) は成分が φi(yi) というベクトルのことで、 φi はとりあえず適当な非線形関数であった。

1AW

独立成分分析の学習アルゴリズムの性質 (3/4)

stは確率的に発生する平均０の信号である。よって xtも ytも確率信号である。だから先ほどの学習アルゴリズムの式も確率変数で駆動される確率差分方程式ということになる。するとWtは過去に出た s1・・・ snによって決まる。つまりWtが時間と共にどこへ収束するかは不確定ではないか？という疑問がでる。

独立成分分析の学習アルゴリズムの性質 (4/4)

しかし、 st は１回ごとにランダムに決まるといっても方程式を解くことは ΔW を足していくことなので、 st または yt を t に関して加えることになる。

すると大数の法則などにより Wt は右辺を st について平均化したものに近づいていく。

この話を厳密にすると確率近似法の話になる。

確率近似法による収束の話 (1/3)

係数 ηtを 1/tのオーダーで小さくしていくと収束が確率１で保証されている。 ηtが小さい定数だと微小変動は残るが一応、平均化した方程式

の解に近づいていく。ここで Eは確率変数 ytについての期待値。

tTtttt WyyIEW ])([

確率近似法による収束の話 (2/3)

差分方程式より微分方程式の方が解析が楽なので、 t を連続時間として

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（５－

３）

として議論する。この方程式が収束すると仮定すると dWt/dt=0

となる。このとき答えは右辺が０、つまりy=Wx として

tTttt

t WyyIEdt

dW])([

確率近似法による収束の話 (3/3)

を満たす W が答えとして出る。成分で書くとE[φi(yi)yi]=1 　、　 E[φi(yi)yj]=0 　 , 　 i≠jである。しかし、元の信号 si が復元できたとしてもそ

のスケールはわからない。そこでこのアルゴリズムでは仮に信号のスケールが決まる。よって元の信号を正しく分離する W はこの学習の方程式の平衡状態になっている。

TyyI )(

平衡状態の安定性

先ほどの解が平衡状態に収束するかどうかは、平衡状態の安定性にかかっている。そこで平均化した微分方程式で平衡状態の安定性を調べると、条件付ではあるが、正解が安定平衡点に収束することが微分方程式の議論により証明できた。

まとめ今までの話をまとめると ICAで元の信号源の信号を復元するのに復元行列Wを学習で求めるのが（５－３）式である。いずれにしても φi(yi)という n個の関数を選ばなくてはならない。この時、安定性を満たすように φiを選べば正しい解が得られるが、満たしていなければ分離はうまくいかない。