多変量解析の一般化

Copyright©2014 NTT corp. All Rights Reserved.

多変量解析の一般化とそのメディア認識への応用

木村昭悟（きむらあきさと）

日本電信電話（株）コミュニケーション科学基礎研究所

E‐mail: [email protected], @_akisato

今日のtalk のあらまし

2

数多くの多変量解析を俯瞰するシンプルかつコンパクトな表現を示します

【標準的手法】 PCA，判別分析，線形回帰，CCA etc.

【局所性導入】 MDS，局所性保存射影 etc.

【正則化】 L2ノルム正則化，graph Laplacian etc.

【カーネル導入】カーネルPCA，normalized cuts etc.

【半教師化】 SELF，SemiCCA etc.

Designing various analysis at will !! データマイニングの実施者が，それぞれの目的に応じたテーラーメードな解析手法を設計できる．

もくじ

3

1. 多変量解析とは？

2. 多変量解析の一般化

3. 新しい解析手法の作り方

4. 画像/音楽/映像認識への応用

5. まとめ大規模固有値問題・深層学習との関係？

Akisato Kimura, Masashi Sugiyama, Hitoshi Sakano, Hirokazu Kameoka"Designing various component analysis at will via generalized pairwise expression,"IPSJ Transactions on Mathematical Modeling and its Applications (TOM), 2013.http://www.kecl.ntt.co.jp/people/kimura.akisato/pdf/tom2013gpe.pdf

もくじ

4

1. 多変量解析とは？簡単な導入

本発表で取り扱う多変量解析の範囲




5. まとめ

多変量解析とは？ in www.macromill.com

5

代表的な多変量解析手法

6

「予測」型回帰分析 (MLR)：複数の数量から別の数量を予測

判別分析 (FDA)：複数の変量から変量の分類を予測

「要約」型主成分分析 (PCA)：多量の数量を要約した数量を導出

多次元尺度構成法 (MDS)：個体間距離を要約した数量群を導出

パターン認識で多変量解析を使う

7

多次元尺度構成法（の拡張）で低次元埋め込み

パターン認識で多変量解析を使う

8

判別分析で文字認識筋電データから実際に筆記した文字を認識

Linderman+ “Recognition of Handwriting from Electromyography,” PLoS One, 2009

Computer visionで多変量解析を使う

9

奥行きの推定に回帰分析画像特徴量と奥行きとの関係を回帰分析で推定

Saxena+ “Learning Depth from Single Monocular Images,” Proc. NIPS2005

主成分分析 (PCA)

10

多次元ベクトルとして表現される多数のサンプルから，それらの分散が大きくなる正規直交軸を見つける手法．

サンプルが多次元ガウス分布に従うときは非常に有効

そうでないときも、サンプル表現に寄与しない成分を捨てる目的で使用されることが多い．

PCAの定式化１

11

多次元ベクトルのサンプル簡単のため，以降はサンプル平均=0を仮定．

射影後の分散が最大になる基底を求める

共分散行列

射影後の分散

PCAの定式化２

12

各基底が単位ベクトルとなるように正規化

Lagrange未定定数法で問題を書き直す

基底での微分 = 0 とすると

共分散行列の固有値問題を解けば良い！

判別分析 (FDA)

13

多次元ベクトルとそのカテゴリで表現される多数のサンプルから，カテゴリをよりよく分類する（正規直交ではないかもしれない）軸を見つける方法

各カテゴリのサンプルの平均を結ぶ軸判別分析で見つけた軸

FDAの定式化１

14

カテゴリ内分散を小さく，カテゴリ間分散を大きくする基底を求めたい

カテゴリ間共分散行列

カテゴリ内共分散行列

FDAの定式化２

15

カテゴリ内共分散を単位化するように正規化要するに，目的関数の分母を１にしたい．

Lagrange未定乗数法で問題を書き直す．

基底での微分 = 0 とすると

一般化固有値問題を解けば良い！

一般化レイリー商で表現される多変量解析

一般化固有値問題で表現される多変量解析

本発表で扱う多変量解析の定式化

16

ラグランジュ未定乗数法

強調したい

抑制したい

この枠組に含まれる多変量解析１

17

標準的な手法主成分分析 (PCA) 線形判別分析 (FDA) 線形回帰分析 (MLR) 正準相関分析 (CCA)

局所性を重視した手法局所性保存射影 (LPP) [He+ NIPS2003]

局所線形判別分析 (LFDA) [Sugiyama JMLR2007]

（後で説明します）

この枠組に含まれる多変量解析２

18

カーネル化すると… カーネルhogehoge （hogehoge＝標準的手法）

クラスタリング系 Kernel k-means [Zha+ NIPS2011]

Normalized cuts [Shi+ PAMI2001]

Spectral clustering [Yu+ NIPS2002]

低次元埋め込み系 ISOMAP [Tenenbaum+ Science 2000]

Locally linear embedding [Saul+ Science 2000]

Laplacian eigenmap [Belkin+ NIPS2002]

もくじ

19


2. 多変量解析の一般化一般化の必要性：新しい解析を簡単に作りたい

どうやって一般化するの？



5. まとめ

これまで述べたこと

20

行列を使うことで，多変量解析が以下の形式で記述できます．

一般化固有値問題

これまで述べたこと

21

行列を使うことで，多変量解析が以下の形式で記述できます．射影軸が2本の場合には，以下のようになります．

例えば

22


線形回帰分析 (MLR)

正準相関分析 (CCA)

これから述べたいこと

23

行列を拡張ペアワイズ表現で書くと，多変量解析の一般的枠組が作れます．

データ依存項データ独立項拡張ペアワイズ表現

一般化すると何がうれしいの？

24

新しい手法がざくざく作れる行列を足すだけで良い．楽ちん．

特殊な場合には，行列のかけ算もできる．

各項の果たす役割が明確になるサンプル間の類似性をどのように考慮するか？

どのような正則化を行うか？

相互共分散行列（平均＝0 を仮定）

共分散行列は相互共分散行列の特殊例

サンプル間類似性を考慮した2次統計量

: 相互共分散行列と一致

共分散行列とその拡張

25

サンプル間類似性を考慮した2次統計量

2次統計量のペアワイズ表現 [Sugiyama+ 2010]

ペアワイズ表現 (PE)

26

和の中の積を展開

ペアワイズ表現の自然な拡張

形式上は類似度行列を意識する必要はない

上記の表現を，2次統計量の拡張ペアワイズ表現と呼ぶ．

拡張ペアワイズ表現 (GPE)

27

Qに独立な項を導入

データ依存項データ独立項

標準的手法の拡張ペアワイズ表現

28


線形回帰分析 (MLR)

正準相関分析 (CCA)

データ依存項の典型例

データ独立項の典型例

データ依存項が持つ意味

29

サンプル間類似性をどう評価するか? を決定類似度行列を明示的に設定する必要はない

既存手法では，類似度行列を明示的に設定例：局所性保存射影 (LPP) [He,Niyogi 2004]

類似度：近くはより近くに，遠くはより遠くに

データ独立項が持つ意味

30

正則化を取り込むことが主要な目的例：リッジ回帰（MLR with L2ノルム正則化）

MLRと異なるのはここだけ！

もくじ

31



3. 新しい解析手法の作り方簡単です．行列を足したり掛けたりするだけ．

半教師付き解析も簡単にできます．

試しに，今までになかった解析を作ってみます．


5. まとめ

拡張ペアワイズ表現の性質

32

非負対称行列半正定値行列

GPEは和積演算に閉じている．→ 複数のGPEの和や積で新しいGPEが作れる．

注： 2種類のサンプル集合を扱う際には , とすれば良い．

新しい解析手法の作り方

33

既存の２次統計量を和・積・定数倍するだけ，所望の性質を持つ多変量解析を作れる！

例： SELF （半教師付局所線形判別分析） [Sugiyama+2010]

LFDA PCA

半教師付き学習への拡張

34

各統計量を計算する母集団を操作することで半教師付き学習への拡張が容易に！

例： SELF ラベル付きデータだけから計算

ラベルなしデータも含めて計算

ラベルなしデータに対応する要素が全て０

非線形多変量解析への拡張

35

カーネル正準相関分析 (kCCA)

正則化（ランク落ち回避）

ラプラシアン正則化（多様体平滑化）

新しい非線形解析手法を作る

36

グラム行列についてのGPEは和演算に閉じていない！

新しい非線形解析手法を作る

37

通常のGPE-based 多変量解析

上と等価な多変量解析

（形式的には）データ行列をグラム行列で置き換える．

新しい解析手法を作るのまとめ

線形解析対象の二次統計量を和・積・正定数倍するだけ．

明示的に GPE を意識・導出する必要はない．

非線形解析明示的に GPE を導出し，ラプラシアン項で和・積・正定数倍をする．

例えば，で作ってみた手法１

39

半教師付き正準相関分析 SemiCCA [ICPR2010]

SELFではできなかったマルチラベル分類への半教師付き学習を実現

XだけあってYがない，という場合だけでなく，YだけあってXがない，という場合も同様に扱える

↑CCA(supervised)

↑PCA(unsupervised)

例えば，で作ってみた手法２

40

正準相関分析＋線形判別分析クラスラベル付きの多次元ベクトル対(x, y)を対象例：画像 = x, 音声 = y, ラベル = c ⇒ 映像認識・検索

クラスごとに異なる相関関係も抽出可能

↑CCA(unsupervised)

↑FDA(supervised)

実験

41

MIT-CBCL顔データの低次元埋め込み下照明（6方向:0,15,…,90）

横照明（6方向0,15,…90）

顔向き（9方向: 0,4,…,24）

人物（１０人）

・サンプル数＝ 3240枚（10人×6下方向×6横方向×9顔向き）

・クラス＝人物・特徴 X ＝画像（32×32 pixs)

・補助情報 Y ＝照明情報・顔向き（3次元）

実験結果： FDA

42

実験結果： CCA

43

実験結果： CCA+FDA

44

CCA/FDA両者の特性を併せ持つ解析を簡易に実現！

クラス分離

暗い

明るい

暗い

明るい

もくじ

45




4. 大規模固有値問題・深層学習との関係

5. まとめ


1‐page summary

CNN on arbitrary graphs• With the help of spectral graph theory

(or graph signal processing)• The key point is how to obtain locality and

hierarchical structures.

Standard CNNs can handle only regular grids, e.g. raw image pixels.

The proposed method can be applied to any graphs with any types of topology, e.g. superpixelgraphs.


Graph Fourier transform

(undirected & connected) graph : vertices (| | ), : edges,: weighted adjacency matrix.

A signal defined on the ‐th nodee.g. is a pixel value on the ‐th (super)pixel.

Graph Laplacian diag ⋅ : diagonal degree matrix ∑ .

A normalized one can be used. / /


Graph Fourier transform (cont.)

The Laplacian is diagonalized as : “Fourier” bases,: “frequencies”.

Graph Fourier transform (GFT) of a signal (inverse: )


Spectral filtering

The convolutional operator on graph

: a filter, ⊙ : element‐wise Hadamard product

Learning filters on a graph thus amount to learning spectral multipliers

diag : a filter

‐‐ Not localized, parameters should be trained.


Main ideas (1)

Laplacian‐based polynomial spectral filters: a filter

: filtering

‐‐ #parameters =K

‐‐ This filter is exactly ‐localized, since ,if the shortest path distance b.w. & is larger than .

‐‐ still requires operations for filtering


Summarizing the points so far

a• Spectral filters are ‐localized• The number of filter parameters = • The computational cost is | |

∗ ̅ , ̅ , … , ̅ , ,22 /

もくじ

53





5. まとめ

まとめ

54

2次統計量を拡張ペアワイズ表現を用いて表現することで，多変量解析を俯瞰できます．

簡単に所望の性質を持つ多変量解析を実現 2次統計量の重み付き加算

統計量計算のための母集団の操作

（それ以外の方法でももちろんOKです）

データ依存項データ独立項拡張ペアワイズ表現

Thank you for your kind attention.

55

スライドの一部をslideshareにアップしますhttp://www.slideshare.net/akisatokimura

Akisato Kimura, Ph.D @ NTT CS Labs.[E-mail] akisato <at> ieee.org [Twitter] _akisato

多変量解析の一般化

Technology

Transcript of 多変量解析の一般化