Post on 13-Apr-2017
:مدرسقصابیدکتر زینب
هوش مصنوعی-کامپیوترمهندسی دکترای فارغ التحصیل و تحقیقات تهراندانشگاه علوم
تناظر یابی در تصاویر دیجیتال با استفاده از ویژگی های محلی
1
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
• Book:
• Courses:
– CS395T: Visual Recognition, Fall 2012
– CS 376: Computer Vision, Spring 2011
• Keywords:
– detection and description of local
invariant features; matching local features,
– dealing with outliers in
correspondences, RANSAC and the Generalized Hough transform; Hough
voting; Generalized distance transform;
3
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
4
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
اعوجاجات روشنایی و هندسی
Projective
5
Scale IlluminationRotationAffine
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بینایی کامپیوتر
• Object Recognition
• Image Retrieval
• Image Categorization
• Image Registration
• ……
؟(Local Features)چرا ویژگی های محلی
6
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بینایی کامپیوترImage Categorization
Training Labels
Training Images
Classifier
Training
Training
Image Features
Image Features
Testing
Test Image
Trained
Classifier
Trained
Classifier Outdoor
Prediction
7
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
آیا عکس ورودی آشپزخانه است؟•
بینایی کامپیوترImage Categorization
8
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بینایی کامپیوترImage Categorization
Training Labels
Training Images
Classifier Training
Image Features
Trained Classifie
r
9
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Classifiers
• SVM
• Neural networks
• Naïve Bayes
• Bayesian network
• Logistic regression
• Randomized Forests
• Boosted Decision Trees
• K-nearest neighbor
• RBMs
• Etc.
x x
xx
x
x
x
x
oo
o
o
o
x2
x1
کدام یک بهتر است؟
10
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بینایی کامپیوترImage Categorization
نمود؟representتوان تصویر یا اشیاء و یا مدل را چگونه می
Training Labels
Training Images
Classifier
Training
Training
Image FeaturesTrained
Classifier
11
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(pattern recognition)باز نمایش الگو
12
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(object Representation)نمایش اشیاء باز
Signatures
13
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(object Representation)نمایش اشیاء باز Signatures
14
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(Representation)باز نمایش
(Global)جهانی •
.همگی هیستوگرام یکسانی دارند
ی جهانی نسبت به اعوجاجات هندسی، روشنایویژگی های .نیستند( Robust)و موانع پایدار
15
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
• Examples of descriptors
(Representation)باز نمایش
16
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(Representation)باز نمایش
17
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
مشکالت
18
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
مشکالت
Scale View
Lighting Occlusion19
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(local invariant features)ویژگی های محلی
20
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(Representation)باز نمایش
(Local)محلی •
.
: های محلیویژگی ( Feature Detection)استخراج •(Feature Description)توصیف •(Feature Matching)تطابق•
21
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
انطباق ویژگیهدف از (feature matching)
درمثال . ، یک مسئله بنیادی استکاربرد های بینایی کامپیوتر انطباق ویژگی در بسیاری از •
–Image Registration and Mosiacking
–Object Recognition
–image retrieval
–object tracking
.برد داردکار دیگری و موارد
Invariant Local Features 22
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بازشناسی اشیاء
23
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
بازیابی تصویر
24
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Image Registration
25
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Mosaicsim
age fro
m S. Se
itz
26
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
ساختن تصاویر پانورما
27
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Compositeساختن تصاویر
28
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
مشکالت
(Invariance)استخراج مستقل نقاط•
(Distictiveness)استخراج نقاط متمایز •
!شانسی برای تطابق وجود ندارد
تحت اعوجاجات نقاط باید مختلف روشنایی و هندسی
.باشندتکرار پذیر
?نقاط باید توسط توصیفگر های متمایز
.توصیف شوند
29
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
30
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
انواع گوشه یا بها
morphologyروش های مبتنی بر عملیات •
روش های یادگیری ماشین•
(derivative-based approaches)روش های مبتنی بر مشتق•
•......
31
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
. پیکسلی گوشه است که تغییرات شدید روشنایی در هر جهتی که از پیکسل حرکت کنیم، داشته باشیم: ایده32
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)گوشه یاب •
flat33
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)گوشه یاب •
flat34
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)گوشه یاب •
flat edge35
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)گوشه یاب •
flat edge corner36
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)گوشه یاب •
W
2
,
( , ) ( , ) ( , ) ( , )x y
E u v w x y I x u y v I x y
IntensityShifted intensity
Window function
Four Shifts: (u,v) = (1,0), (1,1), (0,1), (-1, 1)
E
uv
37
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
.نباشد1.5تر از صورتیکه نسبت تفاوت مقیاس بین تصاویر بیشیاب ها در تکرارپذیری و تمایز در بین گوشه دارای باالترین •
Harrisگوشه یاب
38
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
.نباشد1.5تر از صورتیکه نسبت تفاوت مقیاس بین تصاویر بیشیاب ها در تکرارپذیری و تمایز در بین گوشه دارای باالترین •
Harrisگوشه یاب
39
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
در نظر گرفتن شیفت در هر جهت با بسط سری تیلور–Harrisگوشه یاب
،
( , ) ,u
E u v u v Mv
2
2,
( , )x x y
x y x y y
I I IM w x y
I I I
40
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
در نظر گرفتن شیفت در هر جهت با بسط سری تیلور–Harrisگوشه یاب
( , ) ,u
E u v u v Mv
2
2,
( , )x x y
x y x y y
I I IM w x y
I I I
41
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
در نظر گرفتن شیفت در هر جهت با بسط سری تیلور–Harrisگوشه یاب
( , ) ,u
E u v u v Mv
Mبررسی مقادیر ماتریس : Wتغییرات روشنایی در پنجره
1, 2 – eigenvalues of M
direction of the
slowest change
direction of the fastest change
(max)-1/2
(min)-1/2
Ellipse E(u,v) = const
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
1, 2 – eigenvalues of M
T
yyyx
yxxxXX
IIII
IIIIyxwM
2
1
0
0),(
x
II x
y
II y
y
I
x
III yx
Notation:
iii xMx
43
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Visualize quadratic functions
10
01M
44
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Visualize quadratic functions
10
04M
45
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Selecting Good Features
1, 2 are large46
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Selecting Good Features
large 1, small 247
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Selecting Good Features
small 1, small 2 48
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
1
2
Corner1 and 2 are large,1 ~ 2;
E increases in all directions
1 and 2 are small;E is almost constant in all directions
edge 1 >> 2
edge 2 >> 1
flat
با تقسیم بندی نقاط تصویراستفا ده از مقادیر ویژه
Mماتریس
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –
Eدر نظر گرفتن مینیمم مقدار –
معیار گوشه یاب جدید–Harrisگوشه یاب
2
det traceR M k M 1 2
1 2
det
trace
M
M
(k – empirical constant, k = 0.04-0.06)
50
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
1
2
“Corner”
“Edge”
“Edge”
“Flat”
• R depends only on eigenvalues of M
• R is large for a corner
• R is negative with large magnitude for an edge
• |R| is small for a flat regionR > 0
R < 0
R < 0|R| small
51
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harrisگوشه یاب
52
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Pseudo code
53
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
54
فرادرس
FaraDars.org
MATLAB Implementation
55
فرادرس
FaraDars.org
MATLAB Implementation
56
فرادرس
FaraDars.org
MATLAB Implementation
57
فرادرس
FaraDars.org
Harris corner detector (input)
58
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Corner response R
59
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Threshold on R
60
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Local maximum of R
61
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris corner detector
62
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
The Hessian Detector
.جا هایی از تصویر که مقدار مشتق در دو جهت زیاد است•.بر اساس ماتریس مشتقات دوم است که هسیان نامیده می شود•
. چون مشتق ها نسبت به نویز حساس هستند، مشتق ها با گوسین نرم تر می شوند•
[Beaudet, 1978]
63
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
sigma=2; thresh=0.1; sze=11; disp=0;
% Derivative masks
dy = [-1 0 1; -1 0 1; -1 0 1]; dx = dy'; %dx is the transpose matrix of dy
% Ix and Iy are the horizontal and vertical edges of image
Ix = conv2(bw, dx, 'same'); Iy = conv2(bw, dy, 'same');
% Calculating the gradient of the image Ix and Iy
g = fspecial('gaussian',max(1,fix(6*sigma)), sigma);
Ix2 = conv2(Ix.^2, g, 'same'); % Smoothed squared image derivatives
Iy2 = conv2(Iy.^2, g, 'same'); Ixy = conv2(Ix.*Iy, g, 'same');
% My preferred measure
cornerness = (Ix2.*Iy2 - Ixy.^2)./(Ix2 + Iy2 + eps);
% We should perform nonmaximal suppression and threshold
mx = ordfilt2(cornerness,sze^2,ones(sze)); % Grey-scale dilate
cornerness = (cornerness==mx)&(cornerness>thresh); % Find maxima
[rws,cols] = find(cornerness); % Find row,col coords.
clf ; imshow(bw); hold on;
p=[cols rws]; plot(p(:,1),p(:,2),'or'); title('\bf Harris Corners')
MATLAB:کد
64
فرادرس
FaraDars.org
Another view
65
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Another view
66
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Another view
67
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
مقایسه گوشه یاب ها
Hessian detector Harris detector
[Tuytelaars and Mikolajczyk, 2007]
68
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
میزان پایداری دقت یک روش در برابر مشکالت فرآیند تناظر یابی : robustnessمعیار استحکام یا •
: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –
.پایدار است( Rotation)چرخش نسبت به –.پایدار نیست( Scale)نسبت به تغییرات مقیاس –
69
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –
• Partial invariance to affine intensity change
Only derivatives are used => invariance to intensity shift I I + b
Intensity scale: I a I
R
x (image coordinate)
threshold
R
x (image coordinate)70
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –
Image matching of satellite data based on quadrilateral control networks, A Sedaghat, H
Ebadi, M Mokhtarzade, The Photogrammetric Record 27 (140), 423-442
71
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –.پایدار است( Rotation)چرخش نسبت به –
Rotation invariance?
Ellipse rotates but its shape (i.e. eigenvalues) remains the same
Corner response R is invariant to image rotation72
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harrisگوشه یاب
73
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harrisیابگوشه
Repeatability rate:
# correspondences
# possible correspondences
74
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
گوشه یاب ها
: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –
.پایدار است( Rotation)چرخش نسبت به –.پایدار نیست( Scale)نسبت به تغییرات مقیاس –
All points will be classified as edges Corner !
But: non-invariant to image scale!
75
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Repeatability rate:
# correspondences# possible correspondences
C.Schmid et.al. “Evaluation of Interest Point Detectors”. IJCV 2000
Harrisیابگوشه
76
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
ارزیابی گوشه یاب ها
Two Criterions
Repeatability rate:
# correspondences
# possible correspondences
Information content:
Measure of the distinctiveness of
an interest point by using entropy.
Five Detectors
Harris
(or impHarris)Cottier
Horaud
HeitgerForstner
77
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
تکرارپذیری
Rotation change Scale change
Rotation: ImpHarrisScaling: ImpHarris and Cottier
78
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
تکرارپذیری
Illumination change Viewing angle change
Illumination: ImpHarris and HeitgerViewing angle: ImpHarris
79
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
محتوای اطالعاتی
80
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
استخراج نقاط مستقل از مقیاسScale Invariant Detection
81
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
استخراج نقاط مستقل از مقیاسScale Invariant Detection
82
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
هیای ه حتیی بیا انیداز)برای مناطق متناظر یعنی شکل آن . که در منطقه مورد نظر مستقل از مقیاس باشدfطراحی تابع : راه حل•.باشدیکسان ( متفاوت
مقدار متوسط روشنایی: مثال–
•fرا برای هر نقطه تابعی از اندازه منطقه در نظر می گیریم .
استخراج نقاط مستقل از مقیاسScale Invariant Detection
f
region size
Image 1 f
region size
Image 2scale = ?
83
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
•fرا برای هر نقطه تابعی از اندازه منطقه در نظر می گیریم.
.، مقیاس مورد نظر برای نقطه مورد نظر هستfماکزیمم محلی تابع •
•scale factor :نسبت مقیاسها در نقاط محلی
استخراج نقاط مستقل از مقیاسScale Invariant Detection
scale = 1/2
f
region size/scale
Image 1 f
region size/scale
Image 2
s1 s2
Max. is called characteristic scale
84
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Automatic Scale Selection
)),(( )),((11
xIfxIfmm iiii
های متناظر را پیدا کرد؟patchچگونه می توان
85
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
86
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
87
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
88
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
89
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
90
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)),((1
xIfmii
)),((1
xIfmii
Automatic Scale Selection
91
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
.یک تابع خوب برای انتخاب مقیاس دارای یک قله تیز است•
.پاسخ داشته باشد( تغییرات محلی روشنایی)مثال یک تابع خوب تابعی است که نسبت به کنتراست •
• Laplacian-of-Gaussian (LoG)
• Difference of Gaussian (DOG)
استخراج نقاط مستقل از مقیاسScale Invariant Detection
f
region size
bad
f
region size
bad
f
region size
Good !
92
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Edge detection
gdx
df
f
gdx
d
Edge
Derivative
of Gaussian
Edge = maximum
of derivative
93
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
gdx
df
2
2
f
gdx
d2
2
Edge
Second derivativeof Gaussian (Laplacian)
Edge = zero crossingof second derivative
Edge detection
94
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
blobاز لبه تا
maximum
.شده استmatchدر اینجا blobدرواقع مقیاس الپالسین با مقیاس . ماکزیمم می شودblobمقدار الپالسین، در مرکز
• Edge = ripple• Blob = superposition of two ripples
95
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Blob detection in 2D
2
2
2
22
y
g
x
gg
r
image
Scale Selection
Laplacian
96
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Laplacian-of-Gaussian = “blob” detector
2
2
2
22
y
g
x
gg
filter
scale
s
img2 img3img1 97
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Blob detection in 2D
characteristic scale98
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Blob detection in 2D
99
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Example
Original image at ¾ the size
100
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
101
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
102
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
103
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
104
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
105
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
106
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)()( yyxx LL
1
2
3
4
5
List of
(x, y, σ)
scale
Squared filter
response maps
نقاط هم در مکان و هم در مقیاس .دارای ماکزیمم مقدار هستند
استخراج نقاط مستقل از مقیاسScale-invariant interest points
107
فرادرس
FaraDars.org
108
فرادرس
FaraDars.org
109
فرادرس
FaraDars.org
“Blob” detector
* =
maximum
minima
• Find maxima and minima of LoG operator in space and scale110
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Scale-space blob detector
111
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
DoGتقریبی از الپالسین هست.
2 ( , , ) ( , , )xx yyL G x y G x y
2 2
21 2
2( , , )
x y
G x y e
( , , ) ( , , )DoG G x y k G x y
(Laplacian)
(Difference of Gaussians)
112
فرادرس
FaraDars.org
استخراج نقاط مستقل از مقیاسScale Invariant Detection
• Harris-LaplacianFind local maximum of:
– Harris corner detector in space (image coordinates)
– Laplacian in scale
scale
x
y
Harris
La
pla
cian
• SIFT (Lowe)Find local maximum of:
– Difference of Gaussians in space and scale
scale
x
y
DoG
D
oG
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
114
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
)()( yyxx LL
2
3
4
5
List of(x, y, s)
Computing Harris function
Detecting
local maxima
• Local maxima in scale space
of Laplacian-of-Gaussian
Laplacian-of-Gaussian (LoG)for Harris-Laplace
Two Parts:
• Multiscale-Harris detector
• Characteristic scale
identification[Lindeberg, 1998]115
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris-Laplace
Multiscale: بخش اول Harris-detector
انتخاب مقیاس با استفاده از الپالسین: بخش دوم
116
Harris points
Harris-Laplace points
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris-Laplace
Multiscale: بخش اول Harris-detector
117
The sets of scales:
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris-Laplace
الپالسینانتخاب مقیاس با استفاده از : بخش دوم
• Choose the scale that maximizes the Laplacian-of-Gaussians (LoG) over a predefined range of neighboring scales.
118
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Matlab Code
• test.m
• kp_harris.m
• kp_harrislaplace.m
.برای عکس های مختلف اجرا کنید و نتایج بدست آمده را تحلیل کنید•
119
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris-Laplace detector
120
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Hessian-Laplace detector
121
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
استخراج نقاط مستقل از مقیاسScale Invariant Detection
• Harris-LaplacianFind local maximum of:
– Harris corner detector in space (image coordinates)
– Laplacian in scale
scale
x
y
Harris
La
pla
cian
• SIFT (Lowe)Find local maximum of:
– Difference of Gaussians in space and scale
scale
x
y
DoG
D
oG
فرادرس
FaraDars.org
Difference-of-Gaussian (DoG)
Convolution with the DoG filter:
- =
• Difference of Gaussians as approximation of the Laplacian-of-Gaussian
123
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
124
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمعرفی الگوریتم
استخراج ویژگیها•استخراج اکسترممهای مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترممهای ناپایدار–تخصیص جهت به اکسترممها–
توصیف ویژگیها•
تطبیق ویژگیها•
e.g. scale,
translation, rotation
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمعرفی الگوریتم
استخراج ویژگیها•استخراج اکسترمم های مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترمم های ناپایدار–تخصیص جهت به اکسترممها–
توصیف ویژگیها•
تطبیق ویژگیها•
126
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
مستقل از استخراج اکسترمم های •مقیاس
تصاوير گوسي و از ایجاد مجموعه ای -1 DoG(Difference ofتصاوير
Gaussian )اليه هاي منظمي تحت عنوان ر د(Octave)اکتاو
G x, y, 𝜎1
2𝜋𝜎2 𝑒−𝑥2+𝑦2
2𝜎2
L x, y, kσ = G x, y, kσ ∗ I x, y ,
D x, y, σ = L x,y, kσ − L x,y, σ .
)Lowe, 2003(
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
127
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
مستقل از استخراج اکسترمم های •مقیاس
تصاوير گوسي و از ایجاد مجموعه ای -1 DoG(Difference ofتصاوير
Gaussian )اليه هاي منظمي تحت عنوان ر د(Octave)اکتاو
)Lowe, 2003(
ه بعد از ایجاد هر اکتاو تصویر گوسی کدو برابر مقیاس اولیه مقیاس آن
می باشد انتخاب شده و ابعاد آن با ان نمونه برداری مجدد، نصف شده و به عنو
رفته تصویر ابتدایی اکتاو بعدی در نظر گ.می شود و فرآیند تکرار می شود
اکسترمم های تابع (Lindeberg, 1988)برابر تحقیقات است، برای DoGتصاویر الپالسین تصویر که تقریبی از
.ویژگی های مستقل از مقیاس مناسب استتعیین
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
128
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
مستقل از استخراج اکسترمم های •مقیاس
تصاوير گوسي و از ایجاد مجموعه ای -1 DoG(Difference ofتصاوير
Gaussian )اليه هاي منظمي تحت عنوان ر د(Octave)اکتاو
پیکسل در سطوح میانیهر مقایسه -2پیکسل همسایگی خود و8با DoGتصاویر
باالیی و DoGپیکسل همسایگی تصویر 9پایینی DoGپیکسل همسایگی تصویر 9ذخیره کردن آن در و ( تایی26همسایگی )
ودنب( ماکزیمم یا مینیمم)اکسترمم صورت
)Lowe, 2003(
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
129
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
مستقل از استخراج اکسترمم های •مقیاس
)Lowe, 2003(
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
استخراج شده در این مرحله دارای دو های اکسترمم . مؤلفه مختصات و یک مؤلفه مقیاس هستند
(x,y,S)
130
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
ویژگیهافرایند استخراج
SIFTپارامتر های انتخاب
...تصویر شامل تصاویر صورت، محیط های خارجی و تصاویر هوایی و 32انتخاب •
.تصاویر دارای طیف وسیعی از تبدیالت همانند چرخش و تفاوت مقیاس و تغییرات روشنایی و نویز هستند•
.نقاط کلیدی در هر تصویر انتخاب می شود•
.انتخاب می شوندmatching accuracy، و repeatability ،localizationپارامترها بر اساس سه معیار •
131
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTانتخاب پارامتر های 3 scales
# of keypoints increases but they are not stable!
132
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTانتخاب پارامتر های σ =1.6
133
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
اکسترمم های ناپایداردقت مکان اکسترممها و حذف بهبود •
𝑋تایی هر نقطه 26در همسایگی 3D quadraticبرازش یک تابع ( 1 = [𝑥,𝑦,𝛿]𝑇 با بسط سری تیلور تابع𝐷 = (𝑥,𝑦,𝛿)
.، مشتق آن برابر صفر قرار داده می شودتابع فوق که برای تعیین اکسترمم
پس اندازه تابع در موقعیت جدید
و نقاط روی لبه( non-stableنا پایدار یا )پایین حذف نقاط با کنتراست ( 2
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
2
2
2
1)(
DDDD T
T
02
2
DDT
DD
x 1
2
2
)(
TDXDD )()( 0
|𝐷( 𝑋)| < 𝑇𝑐 , Tc = 0.03
H =Dxx Dxy
Dxy Dyy, Tr = 10 Tr(H)2
Det(H)≥
Tr + 1 2
Tr 134
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
(a) 233x189 image
(b) 832 DoG extrema
(c) 729 left after low contrast threshold
(d) 536 left after
testing ratio
based on Hessian
135
فرادرس
FaraDars.org
ها بر اساس تغییرات مقیاسdetectorارزیابی
Repeatability rate:
# correspondences# possible correspondences
136
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمعرفی الگوریتم
استخراج ویژگیها•استخراج اکسترمم های مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترمم های ناپایدار–تخصیص جهت به اکسترممها–
توصیف ویژگیها•
تطبیق ویژگیها•
𝐹𝑒𝑎𝑡𝑢𝑟𝑒𝑖 = 𝑥𝑖 , 𝑦𝑖 , 𝜃𝑖, 𝛿𝑖
137
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگرهای مستقل از دوران برای انجام تطبیق مستقل از•
شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1
بدست آوردن مقادیر و جهت گرادیان برای پیکسلهای آن دایره( 2وزن دهی مقادیر گرادیانها( 3
در هیستوگرام بعنوان جهت اصلیbinهیستوگرام جهت و بهبود آن و انتخاب بیشترین ( 4
اکسترممهای مستقل از مقیاساستخراج ( الف دقت مکان اکسترممها و حذف اکسترممهای ناپایداربهبود ( بجهت به اکسترممهاتخصیص ( ج
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از•
شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
139
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از•
شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1
آن دایرهپیکسل های بدست آوردن مقادیر و جهت گرادیان برای ( 2
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
نمونه تصویر گوسی
مقدار گرادیان
جهت گرادیان
𝑚 𝑥,𝑦 = 𝐿 𝑥 + 1 , 𝑦 − 𝐿(𝑥 − 1, 𝑦))2 + (𝐿 𝑥,𝑦 + 1 − 𝐿 𝑥, 𝑦 − 1 )2
𝜃 𝑥,𝑦 = tan−1(𝐿 𝑥,𝑦 + 1 − 𝐿 𝑥, 𝑦 − 1
𝐿 𝑥 + 1,𝑦 − 𝐿 𝑥 − 1, 𝑦)
140
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از•
شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1
بدست آوردن مقادیر و جهت گرادیان برای پیکسل های آن دایره( 2وزن دهی مقادیر گرادیانها( 3
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
نمونه تصویر گوسی
مقدار گرادیان
جهت گرادیانوزن دهی با گوسینی
که یک و نیم برابر .مقیاس نقطه است
مقادیر گرادیان وزن دهی شده
141
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
تخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از دوران
شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1
بدست آوردن مقادیر و جهت گرادیان برای پیکسل های آن دایره( 2وزن دهی مقادیر گرادیانها( 3
در هیستوگرام بعنوان جهت اصلیbinجهت و بهبود آن و انتخاب بیشترین هیستوگرام ( 4
مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج
هیستوگرام جهت
آن% 80جهت ماکزیمم و
142
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمعرفی الگوریتم
استخراج ویژگیها•استخراج اکسترمم های مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترمم های ناپایدار–تخصیص جهت به اکسترممها–
توصیف ویژگیها•
تطبیق ویژگیها•
𝐹𝑒𝑎𝑡𝑢𝑟𝑒𝑖 = 𝑥𝑖 , 𝑦𝑖 , 𝜃𝑖, 𝛿𝑖
143
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
چگونه نقاط متناظر را بیابیم؟•
?
144
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
( )local descriptor
توصیف ویژگیها
145
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
N pix
els
N pixels
Similarity measureAf
e.g. color
Bf
e.g. color
A1
A2 A3
Tffd BA ),(
146
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
147
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
:توصیفگر باید دارای دو ویژگی باشدمستقل از چرخش و مقیاس( 1پایدار نسبت به تغییرات روشنایی( 2
:SIFTتوصیفگر
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
چرخاندن مربع نسبت به جهت اصلی( ب
محاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی مربع( جمحاسبه هیستوگرام جهت در هر سلول مربع و بهبود آن( د
148
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
149
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
چرخاندن مربع نسبت به جهت اصلی( ب
150
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
اصلیچرخاندن مربع نسبت به جهت ( بمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی مربع( ج
151
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
اصلیچرخاندن مربع نسبت به جهت ( بمربعمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی ( ج
مربع و بهبود آنمحاسبه هیستوگرام جهت در هر سلول ( دبا جهت اصلي معادل گراديان ها جهت دوران
درونیابي سه خطي براي اجتناب از اثرات مرز هاي بین سلولها
152
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف
اصلیچرخاندن مربع نسبت به جهت ( بمربعمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی ( ج
مربع و بهبود آنمحاسبه هیستوگرام جهت در هر سلول ( د
4*4*16= 128
:پایداری در برابر روشنایی و زاویه دیدنرماالیز سازی اندازه و( 1.در نظر گرفته میشوند و مجددا فرایند نرمال سازی انجام میشود0.2هستند برابر با 0.2مولفه های هیستوگرام که بیشتر از ( 2
153
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
؟8*4*4چرا بستگی توصیفگر به دو پارامتر•
تعداد جهتها–
تعداددآرایه –rn2تعداد ویژگیها
128 features
SIFT: r=8, n=4
154
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیها
Sensitivity to affine change
Correctely
matched
155
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
توصیف ویژگیهاDistinctiveness
156
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمعرفی الگوریتم
استخراج ویژگیها•استخراج اکسترمم های مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترمم های ناپایدار–تخصیص جهت به اکسترممها–
توصیف ویژگیها•
تطبیق ویژگیها•
𝐹𝑒𝑎𝑡𝑢𝑟𝑒𝑖 = 𝑥𝑖 , 𝑦𝑖 , 𝜃𝑖, 𝛿𝑖
157
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
تطبیق ویژگیها
فاصله اقلیدسی بین توصیفگرهانها کمتر از این بین همه توصیفگرهای تصویر اول و دوم محاسبه میشود و نقاطی متناظر هستند که فاصله اقلیدسی بین توصیفگرهای آ–
.یعنی نزدیکترین همسایه باشند. فاصله با بقیه توصیفگرها باشد
از (D22)فاصلهدومین کمترین و (D21)پیشنهاد کرد که نسبت میان اولین کمترین فاصله Loweبرای اطمینان بیشتر در تناظر یابی، –کمتر باشد0.8
D21
D22
D23
D11
ratio distance = SSD(D11, D21) / SSD(D11, D22)
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
ویژگیهاتطبیق
؟t=0.8چرا •
159
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
تطبیق ویژگیها
ارزیابی روش تناظر یابی؟•
.انتخاب آستانه در تعداد تطابق های درست و غلط تاثیر می گذارد•
false match
true match
160
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
تطبیق ویژگیها
ارزیابی روش تناظر یابی؟•
false match
true match
True positives (TP):False Positives (FP):
.تعداد تطابق هایی که درست هستند.تعداد تطابق هایی که غلط هستند
انتخاب آستانه ؟TP را بیشینه وFPرا کمینه کند.
161
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
• ROC Curve
- Generated by computing (FP, TP) for
different thresholds.
- Need to maximize area under the
curve (AUC)
0.7
0 1
1
false positive rate
truepositive
rate
# true positives
# matching features (positives)
0.1
# false positives
# unmatched features (negatives)
ROC curve (“Receiver Operator Characteristic”)
162
فرادرس
FaraDars.org
SIFT descriptorمزایای
163
فرادرس
FaraDars.org
NASA Mars Rover images
فرادرس
FaraDars.org
NASA Mars Rover images with SIFT feature matches
Figure by Noah Snavely
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
MATLABhttp://www.robots.ox.ac.uk/~vedaldi/code/sift.htmlبررسی کد •
http://www.vlfeat.org/overview/sift.html
166
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
MATLABبررسی کد •
Functions:
• sift_compile: produce mex files for all functions in C language
• Main programs:– Sift_demo, sift_demo2, sifte_demo3, sift_demo4, sift_demo5, sift_demo6, Sift_overview
167
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فرایند استخراج ویژگیها
Sift_demo
fprintf('Computing frames and descriptors.\n') ;
[frames1,descr1,gss1,dogss1] = sift( I1, 'Verbosity', 1 ) ;
[frames2,descr2,gss2,dogss2] = sift( I2, 'Verbosity', 1 ) ;
MATLABبررسی کد •
SIFT
gaussianss, diffss, siftlocalmax, siftrefinemx, siftormx, siftdescriptor
168
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
169
فرادرس
FaraDars.org
170
نقاط اکسترمم نقاط با کنتراست پایین
نقاط روی لبه تخصیص جهت
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
171
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Invariance to Transformations
• Geometric transformations– translation
– rotation
– similarity (rotation + scale change + translation)
– affine (2x2 transformation matrix + translation)
• Photometric transformations– Affine intensity changes (I =a I + b)
172
فرادرس
FaraDars.org
Affine Invariant Regions
173
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Affine Invariant Regions
174
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
منطقه یاب ها
Hessian & Harris [Beaudet ‘78], [Harris ‘88]Laplacian, DoG [Lindeberg ‘98], [Lowe 1999]Harris-/Hessian-Laplace [Mikolajczyk & Schmid ‘01]Harris-/Hessian-Affine [Mikolajczyk & Schmid ‘04]EBR and IBR [Tuytelaars & Van Gool ‘04] MSER [Matas ‘02]Salient Regions [Kadir & Brady ‘01] Others…
175
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Harris-Affine detector
176
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Hessian-Affine detector
177
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
MSER
178
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
EBR Detector
179
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
IBR Detector
180
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Salient Regions
181
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
و منطقه یاب هامقایسه نقطه یاب ها
Tuytelaars Mikolajczyk 2008182
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
183
فرادرس
FaraDars.org
فهرست مطالب
چرا ویژگی های محلی•
Harrisو Moravecگوشه یاب •
Harris-Laplasمنطقه یاب •
SIFTویژگی محلی •
منطقه یاب ها•
حذف تطابق های اشتباه•
184
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Reference image
Second Image
Feature matching
Parameter estimation
Feature detection
Feature descriptor
Feature matching
Initial feature matching
Result of RANSAC removing the exterior points
Retinal image Registration
185
فرادرس
FaraDars.org
روش های حذف تطابق های اشتباه
•Ransac
•Root mean Square error
•Graph transformation matching
http://www.csse.uwa.edu.au/~pk/Research/MatlabFns/
186
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
Reference image
Second Image
Feature matching
Parameter estimation
Feature detection
Feature descriptor
Feature matching
Retinal image Registration
187
فرادرس
FaraDars.org
• http://cipcv.ir/en/content/medical-image-processing
Retinal image Registration
188
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
SIFTمشکالت
• An efficient approach for robust multimodal retinal image registration based on UR-
SIFT features and PIIFD descriptors, Z Ghassabi, J Shanbehzadeh, A Sedaghat, E Fatemizadeh, EURASIP Journal on Image and Video Processing 2013 (1), 25
• retinal fundus image registration by selecting stable extremum points in the SIFT detector, Z Ghassabi, J Shanbehzadeh, A Mohammadzadeh, SS Ostadzadeh, IET
image processing, 2015
• A struture-based region detector for retinal fundus registration, Z Ghassabi, J Shanbehzadeh, A Mohammadzadeh, IEEE ICIP 2015
189
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
منابع
• Chris Harris, Mike Stephens, A Combined Corner and Edge Detector, 4th Alvey Vision Conference, 1988, pp147-151.
• David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2), 2004, pp91-110.
• Yan Ke, Rahul Sukthankar, PCA-SIFT: A More Distinctive Representation for Local Image Descriptors, CVPR 2004.
• Krystian Mikolajczyk, Cordelia Schmid, A performance evaluation of local descriptors, Submitted to PAMI, 2004.
• SIFT Keypoint Detector, David Lowe.
• Matlab SIFT Tutorial, University of Toronto.
• “Local Invariant Feature Detectors: A Survey”, Tinne Tuytelaars and Krystian Mikolajczyk, Computer Graphics and Vision, Vol. 3, No. 3 (2007) 177–280
• http://en.wikipedia.org/wiki/Scale-invariant_feature_transform
• http://www.mathworks.com/help/vision/ref/detectharrisfeatures.html
190
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
• http://www.morganclaypool.com/doi/abs/10.2200/S00332ED1V01Y201103AIM011
• http://www.cs.utexas.edu/~grauman/
• http://www.cs.utexas.edu/~cv-fall2012/schedule.html
• http://www.cs.utexas.edu/~grauman/courses/spring2011/index.html
منابع
191
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org
این اسالید ها بر مبنای نکات مطرح شده در فرادرس« در تصاویر دیجیتال با استفاده از ویژگیهای محلیتناظریابی آموزش »
.تهیه شده است
.برای کسب اطالعات بیشتر در مورد این آموزش به لینک زیر مراجعه نمایید
faradars.org/fvimg9402
192
لتناظریابی در تصاویر دیجیتا
faradars.org/fvimg9402
فرادرس
FaraDars.org