画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -

1

画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -

http://mprg.jp/tutorials

機械知覚&ロボティクス研究グループ(中部大学)

中部大学工学部ロボット理工学科

宮腰あゆみ機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

MACHINE PERCEPTION AND ROBOTICS GROUP

Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering

Ayumi Miyakoshi

Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp


中部大学工学部ロボット理工学科助手

山内悠嗣機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant

Dr.Eng.Yuji Yamauchi



中部大学工学部情報工学科講師

山下隆義機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer

Dr.Eng.Takayoshi Yamashita



中部大学工学部ロボット理工学科教授

藤吉弘亘機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor

Dr.Eng.Hironobu Fujiyoshi



中部大学工学部ロボット理工学科

宮腰あゆみ機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering

Ayumi Miyakoshi



中部大学工学部ロボット理工学科助手

山内悠嗣機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant

Dr.Eng.Yuji Yamauchi



中部大学工学部情報工学科講師

山下隆義機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer

Dr.Eng.Takayoshi Yamashita



中部大学工学部ロボット理工学科教授

藤吉弘亘機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor

Dr.Eng.Hironobu Fujiyoshi



http://mprg.jp/tutorials

概要

1. SIFT(Scale-Invariant Feature Transform) 2. SIFTアプローチの高精度化

- PCA-SIFT - GLOH(Gradient Location and Orientation)

3. SIFTアプローチの高速化 - SURF(Speeded Up Robust Features)

4. SIFT以降のアプローチ - FAST, Cascaded FAST, BRIEF, BRISK, ORB, CARD

2

1. SIFT(Scale-Invariant Feature Transform)

3

ステレオ画像

4

Related Work

特徴点検出スケール選択回転に不変頑健性の向上背景の影響

を低減

1988

Harris, Stephens: Harris Corner

Detector

1994

Lindeberg: Scale-space

theory

1997

Schmid, Mohr: Local grayvalue

invariant

1999

Lowe: SIFT

2004

Ke, Sukthankar: PCA-SIFT

2005

Stein, Herbert: BSIFT

5

回転・スケール変化照明変化等に頑健

SIFT: Scale-Invariant Feature Transform

• 誰が考えたのか？ ‒ British Columbia大学のDavid Lowe ‒ 1999年発表 (2004年journal)

• どんなアイデア？ ‒ 特徴点(キーポイント)の検出と特徴量の記述 ‒ 回転・スケール変化に不変，照明変化に頑健な特徴量

6

SIFTの使用例：イメージモザイキング

http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html7

SIFTアルゴリズム

• SIFTの処理は大きく分けて2段階

1. キーポイント検出

2. 特徴記述

スケールとキーポイント検出

キーポイントのローカライズ

Difference-of-Gaussian処理

キーポイントの絞り込みサブピクセル位置推定

オリエンテーションの算出

特徴量の記述

画像の勾配強度と方向算出勾配方向ヒストグラム作成

8

Laplacian-of-Gaussianによるスケール探索 [Lindeberg,’94]

スケールσを変化させたLoGオペレータを適用

LoGオペレータ

€

LoG = f (σ) = −x 2 + y 2 − 2σ 2

2πσ 6 exp − x2 + y 2

2σ 2

%

& '

(

) * LoGオペレータ：

€

x,y

€

σ : スケール : 注目画素からの距離

スケール σ

LoG出

力値

極大位置→特徴点のスケール

スケール探索

σ=3σ=6σ=9

9

LoGフィルタの問題点

解決策：

Difference-of-Gaussian(DoG) [Lowe,‘99]

DoGでLoGと同じような効果が得られるのか?

LoGによるスケール探索:1. 特徴点の検出2. スケール探索

計算コストが高い

特徴点の検出とスケール探索を同時に行う

計算コストを抑えることが可能

10

拡散方程式：変位の時間tに関する偏微分と空間xに関する二階偏微分が比例

DoGとLoGの関係

€

∂G∂σ

=σ∇2G

€

σ∇2G : ガウス関数の2階微分(LoG)

€

∂G∂σ

≈G(x,y,kσ ) −G(x,y,σ)

kσ −σ

€

σ∇2G =∂G∂σ

≈G(x,y,kσ ) −G(x,y,σ)

kσ −σ

€

(k −1)σ 2∇2G ≈G(x,y,kσ) −G(x,y,σ )

LoG DoG

DoGはLoGの近似となる

€

∂G(x,σ )∂σ

= k ∂2G(x,σ )∂x2

€

G : ガウス関数

€

x = (x,y)T

拡散方程式より：€

∂u(x, t)∂t

= k ∂2u(x, t)∂x 2

11

Difference-of-Gaussian(DoG)

• 異なるの平滑化画像の差分によりDoG画像を生成

€

σ

€

L(x,y,σ) =G(x,y,σ )∗ I(x,y)

€

D(x,y,σ) = L(x,y,kσ) − L(x,y,σ )€

L(x,y,σ)

€

I(x,y)

€

G(x,y,σ)

€

D(x,y,σ)

€

k

：入力画像：ガウス関数：DoG画像：増加率

ー

：平滑化画像

€

σ 0

€

kσ 0

平滑化画像

DoG画像入力画像 LoG画像

€

G(x,y,σ) =1

2πσ 2 exp −x 2 + y 2

2σ 2

%

& '

(

) *

12

DoGによるスケールスペース構築

€

σ 0€

kσ 0€

k 2σ 0

€

k 4σ 0

平滑化画像 DoG画像

ー

スケール

€

k 3σ 0

ー

ー

ー

13

画像のダウンサンプリングを併用　の変化の連続性を保持した平滑化画像の生成を実現

DoGの問題点

ガウシアンウィンドウのサイズが大きくなる

の値が増加

€

σ

・処理できない端領域の発生・計算コストの増加

平滑化画像

ガウシアンウィンドウ×k

×k

×k

解決策：

€

σ

14

σの連続性を保持した平滑化処理 (1/3)

入力画像€

σ 0

€

L1(σ 0)

€

L1(kσ 0)

1オクターブ目

テ1/2の画像サイズにダウンサンプリング

€

L1(2σ 0) ≈ L2(σ 0)

€

L1(2σ 0)

で平滑化

€

σ 0€

L2(σ 0)

15

テ


入力画像€

σ 0

€

L1(σ 0)

€

L1(kσ 0)

1オクターブ目

€

L1(2σ 0) ≈ L2(σ 0)

€

L2(σ 0)

€

L1(2σ 0)

€

L3(σ 0)

で平滑化

€

σ 0

1/4の画像サイズにダウンサンプリング

€

L2(kσ 0)

€

L2(2σ 0)

2オクターブ目

€

L3(σ 0) ≈ L2(2σ 0) ≈ L1(4σ 0)

16


入力画像€

σ 0

€

L1(σ 0)

€

L1(kσ 0)

1オクターブ目

€

L1(2σ 0) ≈ L2(σ 0)

€

L2(σ 0)

€

L1(2σ 0)

€

L3(σ 0)

€

L2(kσ 0)

€

L2(2σ 0)

2オクターブ目

€

L3(σ 0) ≈ L2(2σ 0) ≈ L1(4σ 0)

€

L3(kσ 0)

€

L3(2σ 0)

€

σ 0

€

8σ 0

€

4σ 0

€

2σ 0

€

2σ 0

€

4σ 0 17

平滑化画像生成例

€

σ 0

€

2σ 0

€

2σ 0

€

4σ 0

€

4σ 0

€

8σ 0

18

DoG画像からの極値検出

• DoG画像から極値(極大値or極小値)を検出 ‒ 注目画素のDoG値を画像スケール空間の26近傍と比較

DoG画像

3枚1組

平滑化画像

€

σ 0

€

kσ 0

€

k 2σ 0

スケール

€

k 3σ 0

ー

ー

ー

19

DoGによるスケール探索

×

2

10

DoG出力

原画像

σ0=4

σ1=612

41σ2=10

53

47σ3=16

100

3σ4=25

103

ガウシアンフィルタ出力

最大

20

極値の性質

200×200

Scale(σ)極値σ1=5

DoG

400×400 極値σ2=10Scale(σ)

DoG

σ2=2σ1

スケールに対する不変性を得る 21



2. 特徴記述




特徴量の記述

22


• キーポイントに向かない点 ‒ エッジ上の点 ‒ DoG出力の小さい点

開口問題ノイズの影響を受け易い

→主曲率とコントラストにより削除

キーポイント候補点 (キーポイント数:1895点)

コントラストによる候補点削除 (キーポイント数:421点)

主曲率による候補点削除 (キーポイント数:1197点) 23

主曲率によるエッジ上のキーポイント削除

• エッジ上に存在するキーポイント候補点を削除

€

D：DoG画像

€

α：第1固有値

€

β：第2固有値

€

H =Dxx Dxy

Dxy Dyy

"

# $

%

& ' ヘッセ行列から主曲率を算出

Edge

EdgeFlat

Corner

€

α

€

β2つの固有値α, βの関係からエッジ上の点を判別可能

α, βともに小さい：フラット

α, βともに大きい：コーナー

α>>β or β>>α ：エッジ

24

比率による固有値の表現

€

Tr(H)2

Det(H)=(α + β)2

αβ=(γβ + β)2

γβ 2=(γ +1)2

γ

€

Tr(H) =α + β = Dxx + Dyy

€

Det(H) =αβ = DxxDyy − (Dxy )2

対角成分の和：行列式：

€

γ：第1固有値と第2固有値の比率

€

α = γβ

固有値の比率により決定

固有値を求めずにエッジ上の点を判別可能

€

(α > β)

25

固有値の比率によるしきい値処理

€

Tr(H)2

Det(H)<(γ th +1)2

γ thしきい値：により決定

€

γ th

しきい値以上比率が大きい：エッジ上の点しきい値未満比率が小さい：キーポイント候補点

€

γ th=10のとき：しきい値=12.1

キーポイント候補1895点キーポイント候補1197点26

キーポイントのサブピクセル位置推定

€

D(x) = D+∂D∂x

T

x +12xT ∂

2D∂x2

x

€

∂D∂x

+∂ 2D∂x2

ˆ x = 0

€

∂ 2D∂x2

ˆ x = −∂D∂x

ある点でのDoG関数をテイラー展開

€

x = (x,y,σ )T

€

D(x)

x に関する導関数を求め0とする

€

ˆ x

€

(x,y,σ )T：サブピクセル位置変形

サブピクセル位置

€

ˆ x =xyσ

#

$

% % %

&

'

( ( (

= −

∂ 2D∂x 2

∂ 2D∂xy

∂ 2D∂xσ

∂ 2D∂xy

∂ 2D∂y 2

∂ 2D∂yσ

∂ 2D∂xσ

∂ 2D∂yσ

∂ 2D∂σ 2

#

$

% % % % % % %

&

'

( ( ( ( ( ( (

−1

∂D∂x∂D∂y∂D∂σ

#

$

% % % % % %

&

'

( ( ( ( ( (

• 3次元空間におけるパラボラフィッティング

27

• キーポイント候補点のサブピクセル位置でのDoG出力値を再計算

コントラストによるしきい値処理

€

D( ˆ x ) = D+12∂D∂x

T

ˆ x

€

D( ˆ x )DoG出力値の絶対値がしきい値未満（ローコントラスト）→ノイズの影響を受けやすいため削除

しきい値=0.03のとき(※ DoG出力値は0～1)

キーポイント候補1197点キーポイント候補421点28



2. 特徴記述




特徴量の記述

29

• キーポイントのオリエンテーション ‒ オリエンテーションの向きに正規化を行うことで回転に不変な特徴量を算出


€

m(u,v) = (L(u +1,v) − L(u −1,v))2 + (L(u,v +1) − L(u,v −1))2

€

θ(u,v) = tan−1 L(u,v +1) − L(u,v −1)L(u +1,v) − L(u −1,v)$

% &

'

( )

キーポイントが検出された平滑化画像の勾配強度と勾配方向を算出

€

m(u,v)

€

θ(u,v)

€

L(u,v)

平滑化画像L(u, v)

30

勾配方向

勾配方向ヒストグラムの作成

1

0

h

0 35勾配方向(36bin)

×

• 勾配情報から勾配方向ヒストグラムを作成 ‒ 全方向を36方向に離散化 ‒ キーポイントの持つスケールに対応する領域から勾配を算出 ‒ ガウス窓と勾配強度から重みをヒストグラムに加算

€

m(u,v) = (L(u +1,v) − L(u −1,v))2 + (L(u,v +1) − L(u,v −1))2

€

θ(u,v) = tan−1 L(u,v +1) − L(u,v −1)L(u +1,v) − L(u −1,v)$

% &

'

( )

勾配強度 ×　　　　 = 重み

ガウス窓

勾配方向ヒストグラム

m(u,v)

31

オリエンテーションの割り当て

• 勾配方向ヒストグラムからキーポイントの代表的なオリエンテーションを算出 ‒ ヒストグラムの最大値から80%以上

1

0

h

0 35勾配方向(36bin)

0.8peak

キーポイントへ割り当てる

32

オリエンテーションが複数の場合

• 1つのキーポイントに複数のオリエンテーションが割り当てられる ‒ 例：コーナー上の点

1

00 35

勾配方向(36bin)

0.8

peak1 peak2

2方向が割り当てられる

33



2. 特徴記述




特徴量の記述

34

特徴量の記述：記述領域の方向の正規化

• 特徴量を記述する領域をキーポイントが持つオリエンテーションに合わせて回転させる

回転に対する不変性を得る

キーポイントのオリエンテーション

特徴量記述領域

35

特徴量の記述：特徴ベクトル算出

特徴ベクトルを算出：

周辺領域を一辺4ブロックの計16ブロックに分割ブロックごとに8方向(45度ずつ)の勾配方向ヒストグラム作成

4分割

4分割

8方向

ガウス窓

4ブロック×4ブロック×8方向=128次元

ヒストグラムの各方向が特徴ベクトルとなる

36

特徴ベクトルの正規化

• 128次元の各特徴ベクトルの長さをベクトルの総和で正規化

照明変化に頑健な特徴量を得る

37

SIFT特徴量の不変性を得る過程


2. 特徴記述

・スケールとキーポイント検出

・キーポイントのローカライズ

・オリエンテーションの算出

・特徴量の記述

→スケール変化に対する不変性

→ノイズに対する頑健性

→回転に対する不変性

→照明変化に対する頑健性

38

SIFTの対応点探索による画像のマッチング

• 異なる画像間で抽出されたキーポイントの特徴量を比較することで画像間の対応点探索が可能 ‒ 128次元のSIFT特徴量間のユークリッド距離dを算出

画像I1 画像I2

：キーポイント

：キーポイントの特徴量

d:68

d:47

d:54

d:12

39

k

vkd(vkI1 ,vkI2) =

⌅⇤⇤⇥128�

i=1

(vkI1i � vkI2

i )2


40

• 画像間のユニークな点を対応付け ‒ ソーティング後，距離が1番小さい点と2番目に小さい点を比較d1 d2

：最も距離が小さい点

：2番目に距離が小さい点

d1

d2

上記の式が成り立つ点→対応点

d1 < d2 � 0.6

画像I1 画像I2d:68

d:47

d:54

d:1212 < 47 × 0.6


41

d1 < d2 � 0.6の場合

対応点数　：少誤対応点数：少

対応点数　：多誤対応点数：多

の場合d1 < d2 � 0.9

対応点探索結果

スケール変化に影響を受けずに対応点の検出が可能

キーポイント998点

キーポイント3349点

対応点57点

42

画像の変化に対するSIFT特徴量

• 参照用画像と変化を与えた画像のSIFT特徴量を比較

参照用画像

回転

スケール変化

輝度変化アフィン変化43

検証1：回転

参照用画像とのユークリッド距離：42.6

回転：45度44

検証2：スケール変化


拡大：2.0倍 45

検証3：輝度変化


露光量：-3 46

検証4：アフィン変化


視点の変化

テテ

47

回転スケール変化

輝度変化アフィン変化

48

画像の変化ユークリッド距離対応点数

輝度変化 7.8 118

スケール変化 27.3 102

回転 42.6 183

アフィン変化 149.1 24

検証結果

• アフィン変化のSIFT特徴量への影響 ‒ 画像に歪みの変化が含まれるためスケールと方向を正規化して特徴を記述するだけでは不十分

→回転・スケール変化・輝度変化に対しては対応点の検出が可能

49

SIFTの応用分野

• scholar.google.com1でSIFT論文2の引用件数を調査 ‒ 引用総数：911件3

• SIFTを用いたアプリケーションに関する論文数：291件 • 応用分野は4つに大別可能

1 http://scholar.google.com/ 2 D. Lowe, “Distinctive image features from scale-invariant keypoints”, IJCV’04 3 2007年5月22日時点

・対応点探索による画像のマッチング：142件，49%

・特定画像を用いた物体認識：71件，24%

・画像分類：73件，25%

・特徴点追跡：5件，2%

50

http://scholar.google.com/

対応点探索による画像マッチング

51

特定画像を用いたSIFTによる物体認識

1. テンプレートと入力画像の対応点探索

2. テンプレートから検出された対応点の位置・スケール・方向を一般化ハフ変換により投票

3. 3点以上の投票点から入力画像とテンプレート間のアフィンパラメータ算出

1 D. Lowe, “Distinctive image features from scale-invariant keypoints”,IJCV04

Lowe1の物体認識アルゴリズム

テンプレート入力画像

認識結果

• 特定画像(テンプレート)と入力画像間でSIFT特徴の対応点探索により物体認識が可能

52

SIFTを用いた交通道路標識の認識 [高木’07]

• 対応点のスケールとオリエンテーションの投票処理も利用 1. SIFT特徴量算出 2. 標識パターンと入力画像の対応点探索 3. 標識パターンの中心位置座標に投票

(対応点のスケール，オリエンテーション情報を使用) 4. 投票数のしきい値処理により標識認識

入力画像

：スケール

：回転

テンプレート画像

：特徴点

：基準点

Voting

53

SIFTを用いた交通道路標識の認識

高木 et al., 電学論C’09 54

Autostitchによるモザイク画像生成

http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html

55

http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html

Bag-of-Keypointsによる画像分類

• Bag-of-Keypointsのアプローチ ‒ 位置情報を無視した一般物体認識・画像分類手法 ‒ 文書分類手法であるBag-of-Wordsを画像に適用

Bag-of-Words：文章を単語の集合とみなし，単語の頻度に文章の特徴を表現

Bag-of-Keypoints：

画像を局所特徴量の集合とみなし，その位置情報を無視して画像の認識を行う

→局所特徴量としてSIFTを利用

56

• Bag-of-Keypoints : SIFT + SVM

→ 顔

→ バイク

→

→

→

→

入力画像

入力画像

特徴抽出

特徴抽出

ベクトル量子化ヒストグラム

ベクトル量子化ヒストグラム

[G. Csurka et al., “Visual Categorization with Bags of Keypoints”, ECCV2004]

Bag-of-Keypointsによる画像分類 [Csurka’08]

57

Bag-of-featuresの流れ

出力：顔

学習識別

58

まとめ：SIFT

• Scale-Invariant Feature Transform(SIFT) ‒ 画像の回転・スケール変化に不変，照明変化に頑健な特徴点の検出，特徴量の記述をする手法

• SIFTのアプリケーションへの利用 ‒ 対応点探索による画像のマッチング ‒ 特定画像を用いた物体認識

59

2. SIFTアプローチの高精度化 ‒ PCA-SIFT ‒ GLOH(Gradient Location and Orientation Histogram)

60

PCA-SIFT [Ke’04]

• SIFTで検出した局所領域の勾配情報に対して主成分分析 (PCA)を適用 ‒ キーポイント検出はSIFTと同じ ‒ 特徴ベクトルは36次元(実験から決定) ‒ SIFT特徴の頑健性の向上

PCA

36次元の特徴量

キーポイント検出

勾配情報61

SIFT vs PCA-SIFT

• マッチング性能

• マッチング速度

SIFT 4/10 correct

PCA-SIFT 9/10 correct

PCA-SIFT 10/10 correct

SIFT 6/10 correct

SIFT PCA-SIFTLocalization and I/O 2.63Representation 1.59 1.64

Matching 2.2 0.58

処理時間の比較 [sec]

（キーポイント数：2,200点） 62

GLOH [Mikolajczyk’05]

• SIFT ‒ キーポイント周辺領域を正方形のグリッドに分割（4×4=16領域） ‒ それぞれのグリッド内で8方向の勾配方向ヒストグラム

• 128次元の特徴量(4 × 4 × 8 = 128)

• GLOH ‒ キーポイント周辺領域を対数極座標(log-polar)に変換 ‒ 半径方向に3分割，角度方向に8分割したグリッド領域

• キーポイントに近い領域は分割しない

‒ 各領域に対して16方向の勾配方向ヒストグラム（ 272次元） ‒ PCAを用いて128次元に次元圧縮

63

特徴量記述子

SIFT GLOH

周辺領域を対数極座標(log-polar)に変換半径方向に3分割角度方向に8分割 PCAにより128に次元圧縮

正方形のグリッド(4×4) 各グリッドで8方向の勾配方向ヒストグラム 128次元の特徴量

64

特徴量の評価実験

• マッチング性能

Descriptor recall 1-precision correct matchesSIFT 0.24 0.56 177

PCA-SIFT 0.19 0.65 139

GLOH 0.25 0.52 192

キーポイント数：400点

入力画像1 入力画像2

65

まとめ：PCA-SIFTとGLOH

• PCA-SIFT ‒ SIFTで検出した局所領域の勾配情報に対して主成分分析を適用

• SIFT特徴の頑健性の向上 • 次元圧縮によるマッチングの高速化

• GLOH ‒ 特徴量記述

• キーポイント周辺領域を対数極座標(log-polar)に変換 • 半径方向に3分割，角度方向に8分割したグリッド領域 • 各領域に対して16方向の勾配方向ヒストグラム • PCAを行い128次元に次元圧縮

66

3. SIFTアプローチの高速化 ‒ SURF (Speeded Up Robust Features)

67

SIFTアプローチの高速化

• アルゴリズムの改良 ‒ SURF(Speeded Up Robust Features) [H. Bay et al., ECCV’06] ‒ Box filter [M. Grabner et al., ACCV’06]

• GPGPU(General-Purpose computation on GPUs)の利用 ‒ GPU-Based Video Feature Tracking and Matching

[S. N. Sinha et al., EDGE’06]

68

SURF(Speeded Up Robust Features)の処理の流れ

1. キーポイント検出 ‒ キーポイント(特徴点)の検出 ‒ スケール探索

2. 記述 ‒ オリエンテーション ‒ 特徴量の記述

69

SURF(Speeded Up Robust Features) 1. SURFのキーポイント検出 2. SURFの記述

70

処理の流れ

1. 近似ヘッセ行列の算出 ‒ Box filterによる近似 ‒ Integral Imageによる高速化

2. スケールスペースの構築 3. 極値探索によるキーポイント検出

入力画像キーポイント極値探索近似ヘッセ行列の算出•box filter •integral image •scale: σ

スケールスペースの構築•scale σの変更

71

• 2次微分の集合

• Lはガウシアンの各方向の2次微分を画像Iに畳み込んだ応答値

ヘッセ行列

H(x,�) =�

Lxx(x,�) Lxy(x,�)Lxy(x,�) Lyy(x,�)

⇥

LyyLxx Lxy

Lxx(x,�) = I(x)� ⇤2

⇤x2g(�), Lyy(x,�) = I(x)� ⇤2

⇤y2g(�), Lxy(x,�) = I(x)� ⇤2

⇤x⇤yg(�)

72

• エッジの種類 ‒ xy方向の両方の輝度差が大きいが極性が違う

‒ xy方向の片方が輝度差が大きい

‒ xy方向の両方の輝度差が大きい

• 判別式

エッジの種類と判別式

ガウシアンの2次微分は計算コストが高いため判別に時間が掛かる

det(H) = LxxLyy � (Lxy)2

det(H) < 0 det(H) = 0det(H) > 0

73

Boxフィルタによる近似

• 実際に利用する判別式

Lyy

w：近似誤差修正det(Happrox) = DxxDyy � (wDxy)2

Lxx Lxy

-21 1

Dxx Dyy Dxy

74

近似誤差修正

• 例えば... ‒ ガウシアンの2次微分のスケールσが1.2 ‒ box filterのサイズが9

|A|F =

⌅⇤⇤⇥m�

i=1

n�

j=1

|aij |2

w =|Lxy(1.2)|F |Dyy(9)|F|Lyy(1.2)|F |Dxy(9)|F

= 0.912... � 0.9

75

• 矩形領域の輝度値の和を高速に算出可能 • 利点

‒ 領域の数が多い場合 ‒ 領域が重なり合う場合

O

積分画像：Integral Image

A

B

C

D

S

� �I(i, j)

(i, j)

S = -B-C+DA

76

det(Happrox(x,�2))

• スケールσを増加し，複数の近似ヘッセ行列を作成 ‒ スケールσ : 1.2, 2.0, 2.8, 3.6 ‒ フィルタサイズ : 9 x 9, 15 x 15, 21 x 21, 27 x 27

スケールスペースS

cale � =

Sca

le




77

オクターブ

• SIFT：画像のピラミッドを作成 ‒ フィルタのサイズが大きくなるにつれて処理時間が増加

• SURF：ピラミッドではなくフィルタサイズを変化 ‒ Integral Imageを使用することにより算出時間は一定 ‒ 処理時間がフィルタのサイズに依存しない

78

極値探索

キーポイント検出例

• 26近傍で極値ならキーポイント（位置とスケール）

Sca

le

SIFTと同様の極値探索

79

SURF(Speeded Up Robust Features) 1. SURFのキーポイント検出 2. SURFの記述

80


• キーポイントを中心とした6s(σ=2s)の領域から算出 ‒ Haar-Waveletを使用

• 各方向における応答値の和を算出してベクトルとして表現 • 和を算出する領域は60度の範囲 • 最大のベクトルをキーポイントのオリエンテーションとして決定

4s

4s

９

x

y

6s

6s

dy

dx

dy

dx

81

1. 記述範囲として20sの領域を選択 2. 領域を4×4(=16)ブロックに分割 3. 記述範囲をオリエンテーション方向に回転

方向の正規化

20s

20s

82

特徴ベクトル算出

• 1つのブロックを４分割 • 分割した同じサイズのHaar-Waveletを作成

‒ 応答値よりΣdx，Σdy，Σ|dx|，Σ|dy|を算出→ 16分割×4次元＝64次元

83

速度とマッチングの比較

Detector しきい値特徴点数処理時間

Fast-Hessian Hessian-Laplace Harris-Laplace

DoG

600 1000 2500 default

1418 1979 1664 1520

120 650 1800 400

Detectorの処理時間 [ms]

U-SURF SURF SURF-128 SIFT255 354 391 1036

Descriptorの処理時間 [ms]

U-SURF SURF SURF-128 SIFT GLOH PCA-SIFT正解率 83.8 82.6 85.7 78.1 78.3 72.3

対応点マッチングの正解率 [%]

84

まとめ：SURF

• SIFTの精度を維持したまま高速マッチングが可能 ‒ Integral Imageの利用 ‒ Hessian行列算出にbox filtersの利用

85

SURF(PC)SIFT(PC)

速度の比較１

86

速度の比較２

SIFTGPUSURF(PC)

87

まとめ：速度の比較

ハード手法処理時間（FPS）

PC PC

GPU1（GeForce GT220 ） GPU2（Tesla C1060）

SIFT SURF SiftGPU SiftGPU

1 9 16 22

SIFTとSURFの処理速度の比較

SIFT　　：http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html SURF ：OpenCV2.1 SIFT-GPU：http://cs.unc.edu/~ccwu/siftgpu/

88

http://cs.unc.edu/~ccwu/siftgpu/



公開されているソースコード

• SIFT(実行形式ファイル)：Lowe ‒ http://www.cs.ubc.ca/~lowe/keypoints/

• SIFT(C++)：Vedaldi ‒ http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html

• SIFT(MATLAB)：Vedaldi ‒ http://vision.ucla.edu/~vedaldi/code/sift/sift.html

• PCA-SIFT：Ke ‒ http://www.cs.cmu.edu/~yke/pcasift/

• SURF : Herbert ‒ http://www.vision.ee.ethz.ch/~surf/

• GPGPUを用いたSIFT : Wu ‒ http://cs.unc.edu/~ccwu/siftgpu/

89

http://www.cs.ubc.ca/~lowe/keypoints/

http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html

http://vision.ucla.edu/~vedaldi/code/sift/sift.html

http://www.cs.cmu.edu/~yke/pcasift/

http://www.vision.ee.ethz.ch/~surf/


SIFTのハードウェア化

全体を制御 (Linux)

解析結果を表示

画像入力

SIFTアルゴリズム論理回路を実装

デモ・アプリケーション (画像検索) USBカメラから画像を入力し，その中からテンプレート画像に存在する特徴点・特徴量データを検索することにより，テンプレート画像の有無(個数のカウントも実施)を出力，表示する．

90

FPGA-SIFT

• 標識画像検索アプリケーション（8FPS）

VGA(640×480)画像から2,000点を125msで抽出 91

4. SIFT以降のアプローチ ‒ キーポイント検出：FAST ‒ 特徴量記述：BRIEF, BRISK, ORB, CARD

92

SIFT以降のアプローチ

93


• SIFT(DoG) [ICCV1999] ‒ DoG画像からの極値探索によるキーポイント(位置とスケール)検出

• SURF [ECCV2006] ‒ 近似Hessian-Laplaceによるキーポイント (位置とスケール) 検出

• FAST [ECCV2006] ‒ 決定木を利用したコーナー検出

• Cascaded FAST [SSII2013] ‒ カスケード状に並べた決定木によるキーポイント(位置とスケールとオリエンテーション)検出

94

Harrisのコーナー検出

• ヘッセ行列を用いたコーナー検出

€

H =Ix2 IxIy

IxIy Iy2

"

# $

%

& ' ヘッセ行列

第一固有値 : α 第二固有値 : β

Edge

EdgeFlat

Corner R 0 (α, βともに小さい) ：フラット R << 0 (α>>β または β>>α) ：エッジ R >> 0 (α, βともに大きい) ：コーナー

: x 軸方向の微分 : y 軸方向の微分

€

Ix

€

Iy

€

R =Det(H) − k(α + β)2判別式 ( k = 0.04 ～ 0.06 )

α

β

95

�

FAST: Features from Accelerated Segment Test [Rosten’10]

• 注目画素 p の周辺の円周上の16画素を観測

注目画素 p がコーナーである条件 p の輝度値と比較して円周上の輝度値が連続してn 個以上がしきい値 t 以上明るい，もしくは暗い (図中の破線)

96

決定木を用いたFASTのコーナー検出

• 学習画像の画素を特徴ベクトル化

‒ 注目画素 p 周囲の円周上の輝度値を3値化注目画素 p の輝度値円周上の輝度値

しきい値

97

決定木の学習

• 決定木の構築

‒ 特徴ベクトルによる3分木の学習

2darker

学習画像

分岐ノード特徴ベクトルによる分岐

末端ノード：最も到達したクラスを保存

コーナー画像

非コーナー画像

98

決定木によるコーナー検出

• 決画像の各画素を入試てコーナーを判定

‒ 末端ノードに保存されたクラスに分類

99

• SIFT(DoG), SURF, FASTの検出時間の比較


100

FASTにおける問題点

• 人工物からのコーナー検出

• テクスチャが複雑な自然画像からのコーナー検出

101

Harrisのコーナー検出結果 FASTのコーナー検出結果

Harrisのコーナー検出結果 FASTのコーナー検出結果

自然領域からコーナーらしくない点を多く検出

コーナー周辺領域のアピアランスの傾向

• FASTによって検出される点

102

コーナーらしい点コーナーらしくない点

• 周囲{20, 16, 12}画素を参照するため3つの決定木を学習 ‒ 決定木をカスケード状に並べて高速化

Cascaded FAST [長谷川’13]

103

周囲12画素を参照する決定木

オリエンテーションの類似性

オリエンテーション算出

非コーナー非コーナー非コーナー

TRUE TRUE TRUE

TRUEコーナー

非コーナー

FALSE FALSE FALSE

FALSE

入力画像

非コーナー

TRUE TRUE TRUE

TRUEコーナー

FALSE

TRUE



Step1

Step2 Step3

Step1. 3値化した輝度の連続性による条件

• 周囲{20, 16, 12}画素をBrighter, Similar, Darkerに分類 ‒ BrighterまたはDarkerがそれぞれ{11, 9, 6}画素以上連続する場合に注目画素をコーナー候補点とする

104

Sp�x =

�⌅⇤

⌅⇥

Brighter Ip + t ⇥ Ip�x

Similar Ip � t < Ip�x < Ip + t

Darker Ip�x ⇥ Ip � t

：注目画素の輝度値

：周囲の画素の位置

：周囲の画素の輝度値

：しきい値t

Ip�x

Ip

x

��

��

��

��

11画素以上連続9画素以上連続6画素以上連続

コーナー候補点

Step2. オリエンテーションの算出

• 周囲の画素の始点から終点までの角度を2等分する方向をオリエンテーションとする

105

��

��

��

��

周囲20画素のオリエンテーション周囲16画素のオリエンテーション周囲12画素のオリエンテーション始点

終点

0°�

= 341.6°= 315.0°= 326.3°�

• 周囲{16, 12}画素のオリエンテーション間の角度αと周囲{20, 16}画素のオリエンテーション間の角度βを算出 ‒ αとβがそれぞれしきい値以下の場合に注目画素をコーナーとする

Step3. オリエンテーションの類似性による条件

106

�

��

��

��

��

�

注目画素 =

!コーナー If α ≤ Th1 & β ≤ Th2

非コーナー Otherwise

1

コーナー検出結果

107

FAST Cascaded FAST Harris

(コーナー数：22612)

(コーナー数：19961)

(コーナー数：1447)




スケールとオリエンテーションの獲得

• スケール ‒ 画像ピラミッドからコーナーを検出した際の画像解像度を利用

• オリエンテーション ‒ 周囲{20, 16, 12}画素のオリエンテーションを利用→実験より周囲20画素のオリエンテーションが最も良い精度

108

キーポイントのスケールキーポイントのオリエンテーション小大

キーポイント検出例

109

SIFT以降のアプローチ

110

バイナリコードの利点

• バイナリコードで特徴記述 ‒ SIFT：128次元×8bit (unsigned char) ‒ 数十～数百個程度の0と1の列から成る短いバイナリコードで表現

• メリット ‒ 大幅な省メモリ化が可能 ‒ ハミング距離による高速な距離計算

010010000 010010101 000000101

XOR

ハミング距離: 2

→SSE拡張命令で高速に演算可能111

112

BRIEF [Calonder,’10]

• バイナリコードの生成アルゴリズム ‒ パッチをガウシアンフィルタにより平滑化 ‒ ランダムに選択されたペア(2点)の画素値の大小関係からバイナリ列を生成

ガウシアン分布に基づきペアを決定

キーポイント

パッチ

• ペアの選び方

• キーポイント検出 ‒ 画像ピラミッドを利用したスケールを獲得 ‒ パッチのオリエンテーションはそれぞれの工夫あり

直接的にバイナリ化：BRISK, ORB

BRISK [Leutenegger’11] 規則的に選択

ORB [Rublee’11] 学習により選択

113

BRISK [Leutenegger ’11]

• 規則的な位置から2種類のペアを選択

114

長距離ペア(オリエンテーションの算出に使用)

短距離ペア(特徴量記述に使用)

• 長距離ペアの平均ベクトルをオリエンテーションとして算出

• 短距離ペアの輝度の大小関係から特徴量記述

BRISKによる特徴量記述

115

長距離ペアのベクトル方向：輝度が暗い→輝度が明るい長さ：輝度差

短距離ペアオリエンテーション方向に回転 512bitのバイナリコードを生成

ORB [Rublee ’11]

• パッチ内のモーメントによりオリエンテーションを算出 • 学習により良いペアを選択

1. ビットの分散が大きい 2. ペア同士の相関が低い

116

パッチ

• パッチの画素値に関する0, 1次モーメントから重心を算出

• パッチの中心と重心位置との方向をオリエンテーションとして算出

ORBにおけるオリエンテーション

117パッチ

O

C

�OCパッチの中心

�OC

C

O

パッチの重心

オリエンテーション

mpq =�

xpyqI(x, y)

C =�

m10

m00,m01

m00

⇥mpq

C

：モーメント

：重心位置

b1

b2

b3

b4

b5

b6 b7

b8

1. 各バイナリコードのビットの分散が大きくなるように選択

ORBにおけるペアの選択方法

118

k5

k4

k3

k2

k1 0 0 0 1 0 0 1 0 1 0 1 0 1 1 0 1 1 0 1 0 0 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 1 0 1 0

分散が小さい：悪分散が大きい：良

k1

k3

k5

k2

k4

b1b2 b3 b4 b5 b6 b7 b8b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8

2. バイナリコードのビット間の相関が小さくなるように選択

0 0 0 1 0 0 1 0 1 0 1 0 1 1 0 1 1 0 1 0 0 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 1 0 1 0


119

相関が大きい：悪相関が小さい：良

k5

k4

k3

k2

k1

b1b2 b3 b4 b5 b6 b7 b8b1

b2

b3

b4

b5

b6 b7

b8

k1

k3

k5

k2

k4

b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8

b1

b2

b3

b4

b5

b6 b7

b8


• Greedy Algorithmによりペアの位置を決定 ‒ 学習画像から300,000点のキーポイントを抽出 ‒ 各キーポイントのパッチ内の全てのペア(205,590通り)を観測 ‒ ビットの分散が最大かつビット間の相関が最小となる256個のペアを選択

120

相関

大小

ビットの分散が大きくビット間の相関が小さい

ペアを選択ビットの分散が大きな

ペアを選択

間接的にバイナリ化：CARD [Ambai’11]

• 勾配情報からバイナリコードを生成 ‒ LUTによる勾配特徴の高速計算

‒ 特徴ベクトルのバイナリ変換を高速化

相当し，QLPQM!1P}QQが量子化レベルの変換に相当する．

（10）式は複雑に見えるが，qP2, 3Qと aがそれぞれM通

りの値しか取りえないことに着目すると，図 10に示すよ

うに，M-Mのテーブルで表現できることが分かる．し

たがって，図 9，10 に示した 2種類のテーブルを用いるこ

とで，高速に勾配特徴量を算出できるようになる．

（b）バイナリコード化

特徴ベクトルをバイナリコードに変換するというアプロ

ーチは，機械学習や web，大規模検索の分野で活発に研

究されている．これまでの研究により，多くのバイナリコ

ード化手法は次の形で書けることが分かっている．

b/sgn PfPWTd+cQQ （11）

dは D次元の特徴ベクトル，bは長さ Bビットのバイナ

リコード，cはオフセットベクトル，Wは D行 B列の変

換行列，fP}Qは任意の関数である（dの平均がゼロベクト

ルになるようにあらかじめ変換されている場合，c/0と

してオフセット成分を無視することが多い）．例えば，最

も単純な random projections と呼ばれる手法では，Wを

正規分布に従う乱数で生成し，fP}Qを恒等関数としてい

る．また Spectral Hashing11)では fP}Q を非線形関数，W

を学習データの主成分ベクトルとすることで，短いバイナ

リコード生成を実現している．

CARD は random projections と同様に，fP}Q を恒等関

数としているが，Wの生成方法に工夫がある．CARD で

は，次の 2 つの条件に基づいてWを最適化により求めて

いる．

1．バイナリコードに変換前の距離（ベクトル間角度）

と変換後の距離（ハミング距離）がなるべく一致す

るようにWを最適化する．

2．Wは S個の非ゼロ要素から成る疎行列であり，各要

素が T,1, 0, 1Uのうちいずれかの値のみを取るとい

う制約のもとでWを最適化する．

条件 1 により，生成されたバイナリコードは元々の特徴量

の記述能力を維持できるようになる．また，条件 2 によ

り，（11）式によるバイナリコードへの変換を高速に行え

るようになる．

直感的にはWが疎になればなるほど性能が劣化すると

考えられるが，興味深いことにWの要素が 90%程度ゼロ

であっても，密な行列の場合と性能がほとんど変わらない

ことが実験により確かめられている．これは高速化にとっ

て非常に都合が良い性質である．

なお，バイナリコードのビット長は目的に応じて任意に

決めることができるが，著者らは精度と速度のバランスの

観点から 128 bit 程度を推奨している．

4．まとめ

本稿では，SIFT 以降のアプローチとして，キーポイン

ト検出と特徴量記述の各処理が，どのように高速化および

省メモリ化されてきたかについて述べた．表 1に各手法

のまとめを示す．

今後は，より大量な画像をリアルタイムに処理すること

ができるように，スケール推定を含むキーポイント検出処

理において，さらなる高速化が期待される．また，特徴量

記述においては，特徴量の統計的性質に基づいてビット長

を圧縮するなど，さらなる省メモリ化が期待される．

参考文献

1) D.G. Lowe : Object Recognition from Local Scale-Invariant

Features, Proc. International Conference on Computer Vision,

(1999) 1150-1157.

2) H. Bay, A. Ess, T. Tuytelaars and L.V. Gool : SURF : Speeded-Up

Robust Features, Proc. European Conference on Computer

Vision, (2006) 404-417.

3) E. Rosten and T. Drummond :Machine Learning for High-speed

Corner Detection, Proc. European Conference on Computer

Vision, (2006) 430-443.

4) G. Takacs, V. Chandrasekhar, S. Tsai, D. Chen, R. Grzesczuk and

B. Girod : Unified Real-Time Tracking and Recognition with

Rotation-Invariant Fast Features, Proc. Conference on Computer

Vision and Pattern Recognition, (2010) 934-941.

5) M. Calonder, V. Lepetit, C. Strecha and P. Fua : BRIEF : Binary

Robust Independent Elementary Features, Proc. European

Conference on Computer Vision, (2010) 778-792.

6) S. Leutenegger, M. Chli and R.Y. Siegwart : BRISK : Binary

Robust Invariant Scalable Keypoints, Proc. International

Conference on Computer Vision, (2011).

7) E. Rublee, V. Rabaud, K. Konolige and G. Bradski : ORB : An

局所勾配特徴抽出技術 ―SIFT 以降のアプローチ―

精密工学会誌 Vol.77, No.12, 2011 1115

510152025303540

5 10 15 25 30 403520

図 10 回転補正および量子化レベル変換

テーブル（M＝40，L＝8 のとき）

表 1 特徴量記述手法

手法 DetectorDescriptor

ソフトウェアアルゴリズムデータ

SIFT（2004） DoG 勾配方向ヒストグラムベクトル OpenCV

SURF（2006）Determinant

of Hessian勾配特徴量ベクトル OpenCV

RIFF（2010） FAST 勾配特徴量ベクトル非公開

BRIEF（2010） ― バイナリコード化バイナリ

コードOpenCV

BRISK（2011）スケール不変

FAST回転不変BRIEF

バイナリ

コード公開

ORB（2011） Oriented FAST 回転不変 BRIEFバイナリ

コードOpenCV

CARD（2011）Good Features

to Track

LUTによる勾配

特徴量の高速演算

バイナリコード化

バイナリ

コード公開予定

1. バイナリコードに変換前の距離(ベクトル間角度) と変換後の距離(ハミング距離) 　がなるべく一致するように W を最適化 2. 各要素が,+1, 0, -1 のうちいずれかの値のみを取るという制約のもとでWを最適化　→和演算で構成できるため特徴記述が高速化

121

2画像間の対応付けによる速度の比較

• OpenCV 2.4.3を使用

122

ソースコード＆アプリの公開

• FAST：Features from Accelerated Segment Test - OpenCV - iOSアプリ：FAST Corner

• BRIEF：Binary Robust Independent Elementary Features ‒ OpenCV

• BRISK：Binary Robust Invariant Scalable Keypoints ‒ http://www.asl.ethz.ch/people/lestefan/personal/BRISK

• ORB：Oriented FAST and Rotated BRIEF ‒ OpenCV ver2.3

• CARD：Compact And Real-time Descriptors ‒ http://cvlab.jp/ ‒ iOSアプリ：CARDesc

123

http://cvlab.jp

解説記事：局所勾配特徴抽出技術-SIFT以降のアプローチ-

画像技術の最前線

局所勾配特徴抽出技術*

―SIFT以降のアプローチ―Gradient-based Image Local Features

藤吉弘亘** 安倍満***

Hironobu FUJIYOSHI and Mitsuru AMBAI

Key words image local feature, SIFT, SURF, FAST, RIFF, BRIEF, BRISK, ORB, CARD

1．はじめに

画像のスケール変化や回転に不変な特徴量を抽出する

Scale Invariant Feature Transform（SIFT)1)は，特定物体

認識だけではなく画像合成や画像分類など多くのアプリケ

ーションに利用されている．SIFT の処理過程は，キーポ

イント検出と特徴量記述の二段階からなり，各処理は以下

の流れとなる．

キーポイント検出 !1．スケールとキーポイント検出

2．キーポイントのローカライズ

特徴量記述 !3．オリエンテーションの算出

4．特徴量の記述

キーポイント検出処理では，Difference-of-Gaussian

（DoG）処理によりキーポイントのスケールと位置を検出

する．特徴量記述では，スケール内の勾配情報からオリエ

ンテーションを求め，キーポイント周辺領域（パッチ）を

オリエンテーション方向に回転させて特徴量を記述するこ

とで，回転に対して不変な特徴量を抽出する．SIFT で

は，キーポイント検出処理における DoG 画像の生成や，

特徴量記述処理における勾配ヒストグラム算出の計算コス

トが高いという問題がある．この問題を解決する高速化の

手法として，2006 年に SURF2)が提案された．SURF で

は，各処理において積分画像を利用した Box フィルタを

用いることで，SIFT と比較して約 10 倍の高速化を実現

した．近年では，高性能な PCだけではなく携帯端末等の

小型デバイスでの利用を考慮し，キーポイント検出と特徴

量記述の各処理を高速化および省メモリ化した手法が提案

されている．図 1に，キーポイント検出と特徴量記述に

おける SIFT 以降の変遷を示す．キーポイント検出処理で

は，コーナーに特化することで高速かつ省メモリを実現し

た FAST3)が提案された．FAST は，後述の特徴量記述手

法と組み合わせて使用される．特徴量記述の処理において

は，SIFT や SURF と同様に勾配特徴量に基づく RIFF4)

が 2010 年に提案された．SIFT では 128 次元，SURF で

は 64 次元，RIFF では 100 次元のベクトルが抽出される．

高次元のベクトル特徴量は，高い識別能力をもつ反面，メ

モリ消費量が多く，2010 年以降ではベクトル特徴量の代

わりにバイナリコードで特徴量を記述する手法が提案され

ている．パッチからバイナリコードを直接生成する手法と

して BRIEF5)，BRISK

6)，ORB

7)が，間接的にバイナリコ

ードを生成する手法として CARD8)が提案された．このよ

うに，SIFT と SURF 以降では，キーポイント検出および

特徴量記述において，高速化と省メモリ化を同時に実現す

る手法が展開されている．

本稿では，SIFT や SURF 以降のアプローチが，キーポ

イント検出と特徴量記述の各処理おいて，どのように展開

されてきたかを各手法のアルゴリズムとともに解説する．

2．キーポイント検出

SIFT では，複数の DoG 画像からキーポイントを検出

するのと同時に，キーポイントを中心とした特徴量記述を

行う範囲を表すスケールも検出する．DoG 画像の作成は

計算コストが高い上，複数の DoG 画像を保持するための

メモリを要するという問題点がある．キーポイント検出の

高速化として，SURF では積分画像を利用した Box フィ

ルタを用い高速化を実現した．Edward らが提案した

精密工学会誌 Vol.77, No.12, 2011 1109

*原稿受付平成 23 年 10月 3日

**中部大学工学部情報工学科（愛知県春日井市松

本町 1200）***(株)デンソーアイティーラボラトリ（東京都渋

谷区二丁目 15番 1号渋谷クロスタワー 25階）

藤吉弘亘1997年中部大学大学院博士後期課程修了．博士

（工学）．1997∼2000 年米カーネギーメロン大学

ロボット工学研究所 Postdoctoral Fellow．2000

年中部大学講師，2004 年同大准教授を経て 2010 年より同大教授．

2005∼2006 年米カーネギーメロン大学ロボット工学研究所客員研究員．

2010 年計算機視覚，動画像処理，パターン認識・理解の研究に従事．2005

年度ロボカップ研究賞．2009年度情報処理学会論文誌コンピュータビジョ

ンとイメージメディア優秀論文賞．2009年度山下記念研究賞．情報処理学

会，電子情報通信学会，電気学会，IEEE各会員．

安倍満2007年慶應義塾大学大学院博士後期課程修了．博士（工学）．2007年株式

会社デンソーアイティーラボラトリシニアエンジニア．2011 年画像センシ

ングシンポジウム（SSII）オーディエンス賞．2011 年画像の認識・理解シ

ンポジウム（MIRU）インタラクティブセッション賞．パターン認識・理

解，コンピュータビジョンの研究に従事．電子情報通信学会，IEEE 各

会員．

藤吉, 安倍：”局所勾配特徴抽出 -SIFT以降のアプローチ-” 精密工学会誌 2011年12月 77巻12号 pp.1109-1116

124

まとめ：SIFT以降のアプローチ

• キーポイント検出(FAST, Cascaded FAST) ‒ 決定木による高速なコーナー検出を実現

• 特徴量記述(BRIEF, BRISK, ORB, CARD) ‒ バイナリコードによる特徴記述 ‒ 特徴量の省メモリ化と距離計算の高速化を実現

125

参考文献１

•1. SIFT(Scale-Invariant Feature Transform) - [Lowe ’04] David G.Lowe, “Distinctive image features from scale-invariant

keypoints”, Int.Journal of Computer Vision,Vol.60, No.2, pp.91-110, 2004． - [高木 ’08] 高木雅成, 藤吉弘亘, “SIFT特徴量を用いた交通道路標識認識”, 電気学会

論文誌, Vol. 129-C, No. 5, pp. 824-831, 2009. - [都築 ’08] 都築勇司, 藤吉弘亘, 金出武雄, “SIFT特徴量に基づくMean-Shift探索に

よる特徴点追跡”, 情報処理学会論文誌, Vol.49, No.6, pp.35-45, 2008. - [Csurka ’08] Csurka, G., Bray, C., Dance, C. and Fan, L. “Visual

categorization with bags of keypoints”, Workshop on Statistical Learning in Computer Vision,European Conference on Computer Vision, pp.1‒22, 2004.

126

参考文献２

•2. SIFTアプローチの高精度化 - [Ke ’04] Yan Ke, Rahul Sukthankar, “PCA-SIFT: A more distinctive

representation for local image descriptors”, Proc. of CVPR, pp.506-503, 2004.

- [Mikolajczyk ’05] Krystian Mikolajczyk and Cordelia Schmid, “GLOH “A performance evaluation of local descriptors”, IEEE tran. On Pattern Analysis and Machine Intelligence, pp.1615-1630, 2005.

•3. SIFTアプローチの高速化 - [Bay ’06] H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded Up

Robust. Features”, In ECCV , pp.404-417, 2006. - [Grabner ’06] M. Grabner, H. Grabner, H. Bischof, “Fast approximated SIFT”,

Proc. of ACCV, pp.918-927, 2006. - [Sinha ’06] Sudipta N Sinha, Jan-Michael Frahm, Marc Pollefeys and Yakup

Genc, “GPU-Based Video Feature Tracking and Matching”, EDGE 2006, workshop on Edge Computing Using New Commodity Architectures, Chapel Hill, 2006.

127

参考文献３

•4. SIFT以降のアプローチ - [Rosten ’10] E. Rosten, R. Porter, T. Drummond, “Faster and Better: A

Machine Learning Approach To Corner Detection”, Pattern Analysis and Machine Intelligence, pp. 105-119, 2010.

- [M.Calonder ’10] M.Calonder, V.Lepetit and C.Strecha and P.Fua, “BRIEF: Binary Robust Independent Elementary Features”, In Proc. European Conference on Computer Vision, pp.778-792, 2010.

- [Leutenegger ’11] S.Leutenegger, M.Chli and R.Y.Siegwart “BRISK: Binary Robust Invariant Scalable Keypoints”, In Proc. International Conference on Computer Vision, 2011.

- [Rublee ’11] E.Rublee, V.Rabaud, K.Konolige and G.Bradski “ORB: an efficient alternative to SIFT or SURF”, In Proc. International Conference on Computer Vision, 2011.

- [Ambai ’11] M.Ambai and Y.Yoshida “CARD: Compact And Real-time Descriptors”, In Proc. International Conference on Computer Vision, 2011.

- [長谷川 ’13] 長谷川昂宏, 山内悠嗣, 藤吉弘亘, 安倍満, 吉田悠一, “Cascaded FASTによるキーポイント検出”, 画像センシングシンポジウム, 2013.

128

画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -

Technology

Transcript of 画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -