真槍實彈MACHINE LEARNING─影像處理篇

黃翊庭 Grady Huang

AGENDA

早在1970年代就在處理Big Data

影像原來這麼近

影像處理可大可小

電腦視覺-五零祕笈

妳是我的眼

機器原來可以這樣學習

學習的路還很長

早在1970年代就在處理BIG DATA

=786432筆像素數據

Image Size:512*512*3 px

將近80W筆的數值資料

竟然在1973發生意義深遠影響至今

www.lenna.org

早在1970年代就在處理BIG DATA

影像處理可大可小

影像處理可大可小

攝影機校正

機器視覺學習模仿人眼

視覺式監控

視訊物件切割

視訊物件追蹤

視訊內涵分析視訊索引與檢索

人體姿勢辨識

行為辨識

機器人視覺

數位訊號處理

運動分析 景物分析

電腦視覺影像處理技術

醫學影像處理

文件影像處理

表情辨識

手勢辨識

影像原來這麼近

Image Size:260*363 px

Total Size:

260*363*3=283140

(121,184,237)#79b8ed

R

G

B

電腦視覺-五零祕笈

影像擷取 前置處理 物件分割 表示或描述 辨識與解釋

知識庫

機器學習

Color Chart Detection

Edge DetectionVideo Stream Color Convert

Chart DetectionConnected Component Component Detection

Experimental Results

妳是我的眼

妳是我的眼

妳是我的眼

妳是我的眼

陸標圖資管理平台

穿戴式視覺輔具

位置區域

機器原來可以這樣學習

抽取 訓練 匹配

抽取影像特徵

圖片的特徵通常是指物體之輪廓、邊緣、角點、顏色等，具備高識別度或具獨特性之圖像特徵。

特徵抽取演算法

•SURF (Speeded-Up Robust Features)

•FAST Algorithm for Corner Detection

•BRIEF (Binary Robust Independent Elementary Features)

•ORB (Oriented FAST and Rotated BRIEF)

特徵抽取

特徵抽取

訓練機器學習演算法

•人工神經網路

•決策樹

•高斯過程回歸

•最近鄰居法

•支持向量機

訓練機器學習演算法

從特徵資料庫中快速找出最鄰近(Nearest neighbor )的特徵點。

Multiple randomized kd-trees

匹配比對辨識

使用最鄰近距離比對方法(Nearest Neighbor Distance Ratio, NNDR)進行判斷

1. 從 S2取出一個特徵點 T。

2. 從 S1中找出跟 T最近的特徵點 closest T1和第二近的特徵點 sec closest T1。

3. 使用 NNDR判斷比對是否成功，失敗的話從新再比對。

SURF feature set: S1 SURF feature set: S2

closest T1

closest T2

The first step

The second step

T

特徵資料庫

特徵集合

場景特徵

特徵集合

匹配比對辨識

匹配比對辨識

隨機抽樣一致演算法 (Random Sample Consensus, RANSAC)

包含許多離群的一組數據，要找一條最適合的線。 RANSAC找到的線 (藍色點為內群,紅色點為離群)

匹配比對辨識

學習的路還很長

目標學習 特徵篩選&合併

圖資特徵擷取

建立特徵索引

所有圖資特徵點總數相似合併

陸標特徵比對

多重隨機K-D樹演算法建立特徵索引結構

尋找索引結構鄰近特徵點

結果過濾除錯

隨機抽樣一致RANSAC演算法

學習的路還很長

資料庫圖資:66筆

圖片壓縮:320*240

建索引花費時間:3.684秒

比對花費時間:0.05秒