Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten...
-
date post
21-Dec-2015 -
Category
Documents
-
view
221 -
download
0
Transcript of Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten...
![Page 1: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/1.jpg)
Image Segmentation with A Bounding Box Prior
作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp
出處 : ICCV 2009
![Page 2: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/2.jpg)
第一作者 Name: Victor Lempitsky Education:
Postdoc: Microsoft Research Cambridge Ph.D and undergraduate: Moscow State University
Researches: Computer vision and pattern recognition
Publications: Conference: ICCV’09, CVPR’09, ECCV’08, CVPR’ 08, ICCV’
07, CVPR’07(3), BMVC’ 06, ECCV’ 06. Journal: PAMI’ 2009
![Page 3: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/3.jpg)
第二作者 Name: Pushmeet Kohli Education:
Postdoctoral Researcher: Microsoft Research Cambridge, 2007 PhD: Computer Vision, Oxford Brookes University, 2007 Undergraduate: National Institute of Technology, Warangal, 2004
Researches: Computer Vision Discrete Optimization Algorithms for MAP Inference Crowd-sourcing for Machine Learning
Publications: Conference: ECCV’08, ICML’08, CVPR’08(3), CVPR’07, ECCV’06, ICCV’05,
Journal: IJCV’09, SIGGRAPH’08, PAMI’08, IJCV’08, CVIU’08, PAMI’07
![Page 4: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/4.jpg)
第三作者 Name: Carsten Rother Education:
Permanent researcher: Microsoft Research Cambridge, 2004 -- PhD: Royal Institute of Technology Stockholm/Sweden, 2004 Diploma degree: University of Karlsruhe/Germany, 1999
Researches: Markov Random Field Models for Computer Vision Discrete Optimization Vision for Graphics (interactive segmentation and matting)
Publications: Conference: CVPR(13), ICCV(8), ECCV(7), BMVC(3), … Journal: IJCV(3), PAMI(2), …
![Page 5: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/5.jpg)
第四作者 Name: Toby Sharp Education:
Diploma degree: University of York in pure mathematics Researches:
Lead developer for the Computer Vision group Professional member of the BCS and IEEE Led the design and development of MoviePlus
Publications: Conference: ICCV’09, CVPR’08(2), ECCV’08(2) Journal: ACM Transactions on Graphics
![Page 6: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/6.jpg)
文章摘要 用戶提供的矩形邊框 (bounding box ) ,在現有的交互式圖像分割
框架中,被認為是一種簡單和流行的交互方式。但這些框架僅利用提供的邊框將邊框外的部分排除在外,以此作為能量最小化的初始化。本文中,我們討論如何進一步利用邊框提供的拓撲先驗(topological prior) ,確保分割結果與邊框保持足夠的緊緻性。
拓撲先驗被表示為全局能量最小化框架中的嚴格約束,推導為整數規劃 (integer program) 問題。通過線性鬆馳 (linear relaxation ) 和 pinpointing 的圖割算法,可以近似求解上述的整數規劃問題。
公共的數據集上的定性及定量的實驗展示了新的先驗的有效性。
![Page 7: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/7.jpg)
目錄 背景知識介紹:線性規劃和圖形分割
問題的提出
問題的形式化表述-緊緻性定義-最小化能量函數
問題的求解-連續鬆馳線性規劃-Pinpointing 算法
實驗結果
問題與討論
![Page 8: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/8.jpg)
互動式圖形分割簡介
互動式圖割的目標- 更精確分割-降低與使用者互動次數
互動方式- 矩形框 (此 paper 所採用方式 )- 筆劃-…
![Page 9: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/9.jpg)
What is foreground?
![Page 10: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/10.jpg)
線性規劃的標準形式
目標函數
約束
矩陣形式
1
minn
j jj
z c x
1
s.t. 1, 2,
0, , 2,
,
1 ,
n
ij j ij
j
a
j
i
n
x b m
x
subject to
minimiz
e
Ax , 0
Tc x
b x
![Page 11: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/11.jpg)
線性規劃的求解
演算法求解 單純形法 ( 可行域邊界 ) 椭球法( ellip-soid method ) 內點法(可行域內部) …
算法已經很成熟
![Page 12: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/12.jpg)
圖像分割中的能量最小化方法
圖像分割 指定每個像素為背景(標號為 0)或前景(標號為 1) Cp 為圖像 B中像素 p的特徵(本文中取 RGB 值) 最優分割等價於最小化能量函數 E(x)
其中 為整數,各表示像素屬於前景或背景
ε 為臨域像素的集合。
一元項 稱為數據項,編碼像素屬於前景或背景的偏好。
二元項 稱為平滑項,讓分割結果與邊緣對齊。
![Page 13: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/13.jpg)
使用 Graph cut最小化能量函數
Boykov(2001) 等人提出的方法可以快速最小化形如 的能量函數
a) 利用 Graph cut 找到要處理的像素集合,通過標籤擴展及標籤交換的兩個基本操作進行能量最小化
b) 複雜度為多項式級,較之原始的指數級下降很多。
c) Google scholar 中該文章被引用 1484次,另外兩篇後續的文章分別被引用 846和 801 次。
![Page 14: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/14.jpg)
Graph Cuts
Source (foreground)
Sink (background)
Pixel connectivity (boundaries)Inter-pixel weights (boundaries)
Source and Sink weights (regions)
Cost Function : E(A) = λ R(A) + B(A)
![Page 15: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/15.jpg)
本文問題的提出
未利用邊框的緊緻性約束,分割結果的某些部分離圖像的邊框過遠(顏色與主體不一致的部分)
![Page 16: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/16.jpg)
以前的方法
現有的交互式分割方法大多忽略邊框的拓撲先驗(topological prior) ,只對邊框的內部進行處理
主動邊界亦稱為 Snake,可以利用拓撲先驗,但容易收縮過於嚴重或陷入局部最小
![Page 17: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/17.jpg)
本文方法
將拓撲先驗形式化為緊緻性,從而將分割問題轉化為整數規劃 (integer program) 的問題
目標函數中整合了顏色分佈和邊緣信息,約束項中實現緊緻性
通過放鬆對解的整數性要求,最後對實數解進行取整,可得到上述整數規劃問題的近似解
提出 pinpointing 作為替代簡單的利用門檻值取整數方法
![Page 18: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/18.jpg)
緊致性定義
邊框 B中虛線與邊框之間的部分稱為 margin ,四種 margin 分別為 right, left, top, bottom Margin包圍的部分稱為中間盒 (middle box) M. 兩種交叉路徑
短交叉路徑:位於中間盒 M中,且端點在 M上的曲線 (圖中藍虛線 ) 長交叉路徑:曲線位於邊框 B中,如曲線的端點在邊框 B的左右的兩側,曲線只能經過 top, bo
ttom margin 的中間 ; 類似地,當端點在上下兩側,曲線只能經過 right, left margin 的中間。 (圖中紅虛線)
三種形狀 強緊緻形狀:與所有短交叉路徑相交(圖 b) 弱緊緻形狀:與所有的長交叉路徑相交(圖 d) 非緊緻形狀:不符合弱緊緻的其他形狀(圖 c)
![Page 19: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/19.jpg)
緊緻性約束下的能量最小化
緊緻性約束:交叉路徑上的點,至少有一個四鄰域點為前景像素
新約束下的能量函數如下
精確求解上述整數規劃問題的複雜度為指數級,需要進行近似求解
{ , }
min· ·
{0
1
. ,1}.
p pqp p q
B
p
p p
p C
q
p
U V
s t p x
C
x x x
x
ò
![Page 20: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/20.jpg)
優化方法介紹
放鬆對 xp 的整數性約束,優化函數變為標準線性規劃
問題:約束( c )的數目為指數級,無法直接求解,可使用迭代的方法求解。
{ , }
· ·
1 (b)
1 (c)
min (a)
. . 0
{ , } , (d)
p pqp pq
B
p
pp C
pq p q pq
p
q
p q
p
x
x
p q y
U V y
s t
y x x
C
x
p x
x
ò
ò
![Page 21: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/21.jpg)
線性規劃的疊代求解
每次只考慮交叉路徑的子集
1. 開始時設路徑子集 Γ’ 為 NULL
2. 從剩下的路徑中選取誤差最多為 ε 的路徑加入到 Γ’ 中
3. 當所有的路徑都在誤差為 ε 的範圍內,則疊代結束
![Page 22: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/22.jpg)
Pinpointing Algorithm
上述線性規劃的解為實數,需要利用門檻值得到最終的分割結果。保證取整結果滿足路徑約束的前提下,門檻值應該盡可能大。
問題:如何確定門檻值? 求解如下的整數規劃問題得到分割結果
{ , }
· ·
{0,1} (b)
1
m
in (a)
.
(c)
pinpoint
.
p pqp p q
B
p
p
p p q
U V
s t p x
p
x x x
x
保存分配集 给前景的像素
ò
![Page 23: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/23.jpg)
Pinpointing Algorithm 詳解
先決條件:實值的優先圖,可使用前面的線性規劃的解
兩個階段1. 擴展:目標是滿足所有的路徑約束2. 收縮:去除多餘的像素
![Page 24: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/24.jpg)
實驗
平滑項和數據項的定義
數據項中使用了高斯混合對前背景進行建模
資料庫的建立: 50張自然圖像
{ , }
6
1·exp 8, 80 / max
|
,
(log ( ) log )), 1( | 0
pq p q p qp q
p p pb f
C C
GMM GMM
V C Cp q
U P C P C
ò
![Page 25: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/25.jpg)
Gaussian Mixture Models
Background GMM Foreground GMM
![Page 26: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/26.jpg)
實驗一
六種方法的相對性能
1. Unary-Threshold ( unary terms+門檻條件)2. Graph Cut (圖割)3. LP-Threshold (線性規劃 +門檻條件)4. LP-Pinpoint (線性規劃 +Pinpoint )5. Unary-Pinpoint ( unary terms+Pinpoint )6. MinMarginal-Pinpoint ( 1-MinMarginals+Pinpoint )
![Page 27: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/27.jpg)
實驗結果
上方為較容易的實驗圖形,下方為較難的實驗圖形
![Page 28: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/28.jpg)
實驗結果
Error-22 : Graph Cut 的分割結果不滿足緊緻性的 22張圖像上的錯誤率
![Page 29: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/29.jpg)
實驗二:疊代過程
對比 GrabCut 方法,利用當前的分割結果,更新前景與背景模型進行疊代。左(上)為 GrabCut 結果,右(下)為本文方法
![Page 30: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/30.jpg)
實驗二
![Page 31: Image Segmentation with A Bounding Box Prior 作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp 出處 : ICCV 2009.](https://reader036.fdocument.pub/reader036/viewer/2022062300/56649d6a5503460f94a49588/html5/thumbnails/31.jpg)
實驗:敏感度實驗
錯誤率(縱坐標)與緊緻度(橫坐標)的關係,增加緊緻性先驗以後,分割的錯誤率下降。