“Deterministic Independent Component Analysis”

Ruitong Huang, András György, Csaba Szepesvári ICML 2015 読み会

紹介者 : 福地 一斗

自己紹介• 福地 一斗• 筑波大学 D1• 佐久間研究室 : 機械学習におけるプライバシー• 研究分野：• 機械学習：特に学習理論 ( 公平配慮学習における理論 )

紹介する論文• Deterministic Independent Component Analysis

Ruitong Huang, András György, Csaba Szepesvári • 証明付き資料はここから

• http://www.ualberta.ca/~szepesva/publications.html

• Learning Theory トラックでの発表• 独立成分分析 (ICA) をさらに一般化した問題を考案• その問題の理論解析• 解析をもとにしたアルゴリズムの導出

独立成分分析 (ICA)モデル

: 観測変数: 個の独立成分: 混合行列: ガウシアンノイズ個のの iid サンプルからおよびを求める問題

Deterministic ICAモデル

: 観測変数: 個の独立成分: 混合行列: ノイズ個の系列 からおよびを求める問題ただし， Assumption 2.1 + Assumption 2.3

なぜ DICA か

線形混合信号 Mix. 1, Mix. 2 から元の信号を復元

時系列データを独立成分へ分解

元の信号は時系列データ• iidサンプルではない　 ICA 仮定が満たされない

なぜ DICA か時系列データを独立成分へ分解

提案手法 (DICA) は既存手法 (FastICA, HKICA) に比べ元の信号をうまく復元できる

どの範囲まで扱えるのか？Assumption 2.1• は漸近的に経験期待値 0• の構造が簡単 ( ガウスノイズでなくてもよい )• 2,3 次元モーメントが抑えられている• 尖度が漸近的に 0

Assumption 2.3• は漸近的に 4 次モーメントまで独立

𝑠(1) 𝑠(2) 𝑠(3) 𝑠(4) 𝑠(5)マルコフ性を持つような扱うことが可能

HKICA アルゴリズム [Hus+ 2013]

行列の固有ベクトルがスケールしたと一致

ただし， が互いに異なるの番目の列ベクトル

を生成を経験評価

HKICA の DICA 設定での解析

ならば

HKICA の DICA 設定での解析

ならばサンプルが十分にあるが十分独立と見なせる

ICA 設定なら

HKICA の DICA 設定での解析

ならばサンプルが十分にあるが十分独立と見なせる

アルゴリズムに依存するパラメータその他は問題にのみ依存

DICA アルゴリズムHKICA 収束速度はに大きく依存は問題設定によるためをコントロールできない

をコントロールしやすい行列に置き換えられないか？

DICA

すると， が対角行列かつ計算量は

をコレスキー分解

をもとにを計算

DICA の解析結果

ならば

DICA の解析結果

ならばサンプルが十分にあるが十分独立と見なせる

ICA 設定ならば

よりはやくなる ?

線形混合信号 Mix. 1, Mix. 2 から元の信号を復元

時系列データを独立成分へ分解

は元の信号やノイズに依存

その他の改良方法• 再帰バージョン• を求める際に再帰的なアルゴリズムを用いる• の推定誤差を減らすことができる

• Modified DICA• DICA にの推定誤差を減らす工夫を取り入れたもの

実験• 6 次元の信号の人工データ• を複数用意 : • にくらべはが大きい• また， 対角行列も用意

•元の信号• ランダムにを設定した信号• 周期の異なるサイン波

• 信号•サンプル数

実験結果𝐴1𝑅

ノイズの大きさ 大きい小さい

大きい

エラー

が小さい場合 FastICA の性能が良いが小さい場合 FastICA の性能が良い

実験結果𝐴3𝐴2 𝐴4

ノイズやが大きくなると再帰版の修正 DICAが一番よくなるノイズやが大きくなると再帰版の修正 DICAが一番よくなる

まとめ• Deterministic ICA• iid でないような時系列データにも対応した ICA• ガウシアンノイズ出なくてもよい

• DICA アルゴリズム• コレスキー分解を使って HKICA を改良• 再帰版や修正版によって高い性能