1

Distinctive Image Features from Scale-Invariant Keypoints

DAVID G.LOWE报告人：张

2

CONTENTS• 1 引言• 2 相关研究• 3 尺度空间极值的检测 • 4 准确的关键点的定位• 5 定向任务• 6 局部图像描述子• 7 目标识别的应用• 8 识别实例• 9 结论

3

• 1 SIFT综述• 尺度不变特征转换（ SIFT ）是一种电脑视

觉的算法，用来侦测与描述影像中局部特征。它在尺度空间中寻找极值点，并且提取其位置、尺度、旋转不变量。

• 2 SIFT的特点• 稳定性 独特性 多量性 • 高速性 可扩展性

4

SIFT 算法的主要步骤• 1 检测尺度空间的极值• 2 精确定位极值点• 3 为每个极值点指定参数方向（定向任务）• 4 关键点描述子的生成

5

Ⅰ.尺度空间的极值检测• 尺度空间理论：• 1 引入一个被视为尺度的参数

• 2 变化参数得到多尺度的图像表示序列

• 3 对这些尺度图像的序列进行尺度空间的主轮廓的提取

6

图像的尺度空间表示• 一副二维图像，在不同尺度下的尺度空间

表示可由图像与高斯核卷积得到：

• 式中， 代表图像的像素位置， 代表图像的尺度空间， 为尺度空间因子，其值越小则表征被平滑的越少，相应的尺度也就越小。同时大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。

),(*),,(,,( yxIyxGyxL

),( yx L

7

• 高斯卷积核是实现尺度变换的唯一线性核，其定义如下：

• 其中， 是空间坐标， 代表高斯正态分布的方差，亦即尺度坐标（在尺度空间中）。

2 2 2( )/22

1( , , )

2x yG x y e

),( yx

8

两个金字塔的引入• 要实现极值的检测要引入两个金字塔（形

象化的表示，算法中为了便于理解）：1 建立高斯金字塔2 生成 DOG 金字塔（ Difference-of-Gaussian ）

• 高斯金字塔的构建：对图像做不同尺度的高斯模糊（平滑）；对图像做降采样（隔点采样）

9

10

1.高斯金字塔有 O组(阶 )，每一阶有 S层尺度图像

2.Lowe 的文章中每组有s+3层图像将原始图像隔点采样生成下一组尺度空间。

11

• DOG金字塔的构建：• 为了有效提取稳定的关键点，利用不同尺

度的高斯差分核与图像卷积生成。

),,(),,(

),(*)),,(),,((),,(

yxLkyxL

yxIyxGkyxGyxD

12

•将每一组尺度空间中的相邻高斯尺度函数相减，生成高斯差分金字塔。

13

a 是第二组的第一层图像由第一组的的最后第二层图像隔点采样得到。 b是通过相邻高斯尺度空间图像相减得到。

a

b

14

相关的极值检测• 作为加快理解的两个金字塔相关背景介绍

完毕，下面提出的是关于极值检测的方法，极值的检测操作是基于第二个金字塔的，与第一个金字塔没有直接关系，并且搜索的基本原理我认为与 harris 的角点检测是十分接近的，其原理如下图：

15

图示如下

极值点的搜索是通过同一组内 DOG 相邻层之间比较完成的 .

为了寻找尺度空间的极值点，每一个采样点都要和它所有的相邻点比较，以确保在尺度空间和二维图像空间都检测到极值点。

16

Ⅱ. 关键点的精确定位• 通过拟合三维二次函数以精确确定关键点的位

置，同时去除低对比度的关键点和不稳定的边缘响应点（因为 DOG 算子会产生较强的边缘响应）以增强匹配稳定性、提高抗噪声能力。

• 在关键点处用泰勒展开式得到：

• 式中 为关键点的偏移量 ， 是 在关键点处的值。

XX

DXX

X

DDXD T

T

2

2

2

1)(

TyxX ),,( D ),,( yxD

17

• 求导让上方程等于 0 ，可以得到极值点为：

• 如果 （相对于插值中心点的偏移量）在任一方向（一共 3 维）上的偏移大于 0.5 时，就意味着该关键点与另一采样点（检测点）非常接近，这样的点就要删除。

XX

DDX

2

12

X

18

• 为了增强匹配的稳定性，需要删除低对比度的点。将上求出的极值点代入原方程求出 的极值：

可以用来衡量特征点的对比度，如果 则 为不稳定的特征点，应当删除。 的经验值为 0.03 。

)(XD

XX X

DDD

T

2

1)(

XD

)(XD X

19

• 因为 DOG 算子会产生较强的边缘响应，所以应去除低对比度的边缘响应点，以增强匹配的稳定性，提高抗噪声能力。一个平坦的 DOG 响应峰值往往在在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。

• 主曲率通过一个 2*2 的 Hessian矩阵 求出：H

yyxy

xyxx

DD

DDH

20

• 导数 通过相邻采样点的差值计算。 的主曲率和 的特征值成正比，

• 令 ， 为最大，最小特征值，则

• 令 为最大特征值与最小特征值的比值，则

D DH

2)()(

)(

xyyyxx

yyxx

DDDHDet

DDHtr

2

2

222 )1()()(

)(

)(

HDet

Htr

21

• 为了检测主曲率是否在某阈值 下，只需检测

• 的经验值为 10 。

22 )1(

)(

)(

HDet

Htr

22

Ⅲ. 确定关键点的主方向• 为了实现图像的实现旋转不变性，需要根据检测到的特征点局部图像结构求得一个方向基准。用图像梯度的方法求取该局部结构的稳定方向。对于已检测到的特征点，我们已经知道该特征点的尺度值 ，因此根据这一尺度值，得到接近这一尺度值的高斯图像。

23

• 上式中， 和 分别为高斯金字塔 处梯度的大小和方向， 所用到的尺度为每个关键点所在的尺度。

),(*),,(,,( yxIyxGyxL

)1,()1,(

),1(),1(arctan),(

))1,()1,(()),1(),1((),( 22

yxLyxL

yxLyxLyx

yxLyxLyxLyxLyxm

),( yxm yx, yx,L

24

• 以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是 0~360 度，其中，每 10 度一个柱，共 36 个柱。直方图的主峰值（最大峰值）代表了关键点处邻域梯度的主方向，即关键点的主方向。

• 至此，图像的关键点已检测完毕，每个关键点有三个信息：

• 位置、所处尺度、方向。

25

Ⅳ. 生成 sift 特征描述算子• 首先，将坐标轴旋转到关键点的主方向。只有以主方向为零点方向来描述关键点才能使其具有旋转不变性。

• 其次，以关键点为中心取 8*8的窗口。进而计算每个 4*4的小块上计算 8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。每个种子点有 8个方向向量信息。

26

•

• 为了增强匹配的稳健性， Lowe 建议对每个关键点可使用 4*4共 16 个种子点来描述，这样对于一个关键点就可以产生 128 个数据，即最终形成 128 维的 sift 特征矢量。

• 此时 sift 特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响