仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

逢逢逢逢甲甲甲甲大大大大學學學學

自動控制工程學系碩士班自動控制工程學系碩士班自動控制工程學系碩士班自動控制工程學系碩士班

碩碩碩碩士士士士論論論論文文文文

仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與 3D 人臉即時人臉即時人臉即時人臉即時

辨認系統之設計與實現辨認系統之設計與實現辨認系統之設計與實現辨認系統之設計與實現

Design and Implementation of the Bionic-Vision

Target Dynamic-Tracking and Real-Time 3D

Facial-Recognition System

指導教授指導教授指導教授指導教授：：：：黃榮興黃榮興黃榮興黃榮興

研研研研究究究究生生生生：：：：陳玨龍陳玨龍陳玨龍陳玨龍

中華民國一百中華民國一百中華民國一百中華民國一百零一零一零一零一年年年年六六六六月月月月

仿生視覺目標動態追蹤與 3D 人臉即時辨認系統之設計與實現

i 逢甲大學 e-Theses & Dissertations( 100 學年度)

誌誌誌誌謝謝謝謝

在這兩年的時光中，有歡樂也有苦悶。與同間實驗室的學長、學姊、同學、

學弟一起聊天、談笑是歡樂的。當電腦當機、程式出現 Bug、進度不夠等等令人

惱怒的事情發生在明明已經沒有多餘時間的狀況下，那是痛苦、搥心胸的。雖然

研究的過程中有許多的挫折，但也讓我學到了許多。

在學業上，感謝自控系的每一位老師，感謝每一位老師於課堂上的惇惇教誨，

而最要感謝的是指導老師黃榮興教授，多謝老師在這兩年間教授了許多在研究上

的經驗與建議，而在日常生活、人際關係等等上也給了許多的見解。同時，也要

感謝口試委員林君明老師與陳孝武老師在百忙之中能來針對此論文提供意見與

見解，使學生能夠對於研究的道路上了解自己的不足，並且以老師為榜樣精進自

己的能力與觀念。以上各位老師對於學生的幫助在此真的很難以三言兩語表達感

謝之情。真的非常的感謝這些老師，謝謝。

除了老師們的教導，還有實驗室裡的學長、學姊、學弟與同學們。在我迷惘

的時候，提供了不少意見。雖然研究所的研究室聽起來非常的嚴肅與拘謹，但與

你們在一起的時候毫無拘束，不管是課業上還是日常的聊天，讓我在這兩年的求

學過程中充滿了歡樂笑聲。而在研究中，除了自己的研究之外，也因你們的分享

讓我獲得了許多我不懂但重要的事情。謝謝你們無私的分享與陪伴，在這裡獻上

我的十二分的感謝，謝謝。

最後我要感謝我最親愛的家人：爸爸、媽媽與姊姊，謝謝你們讓我在研究所

的兩年能夠無後顧之憂的完成學業，不只在學業上，在生活起居上也不斷的督促

我，讓我不會為了課業或是雜事的繁忙而忽視了自己的身體健康。而每當回到老

家時，也都能好好的休息讓我暫時的忘了惱人的事物。這大學四年與研究所兩年

的時光中真的辛苦你們了，在這裡我將這份論文獻給你們，謝謝你們的支持，謝

謝。


ii 逢甲大學 e-Theses & Dissertations( 100 學年度)

摘要摘要摘要摘要

由於社會治安的日漸低下，使得在公共場所甚至於家庭的安全管制逐漸的被

重視，另一方面，電子產品的普及與性能的提升，利用個人電腦架構出一套複雜

的監控系統得以實現。因此本論文提出一套四軸雙 CCD(Charge Coupled Device)

或 CMOS(Complementary metal-oxide-semiconductor)之目標追蹤與 3D 人臉即時

辨認系統。

此系統利用仿生人類視覺系統，並採用動態目標追蹤達到入侵物的偵測與追

蹤。另一方面，利用前述所提到的動態目標追蹤，解決在影像中人臉五官辨識與

身分辨識之困難性。在目標追蹤的問題中，分為四種場合：靜對靜、動對靜、靜

對動與動對動。而在本論文中，我們針對靜對動（系統為靜、入侵物為動）來進

行研究。經過目標追蹤後，我們可知道入侵物於影像中之位置，之後便可針對其

範圍進行人臉五官辨認與身分辨識。人臉五官辨認主要以五官之幾何關係進行辨

認，並將其特徵點與預先建立好之身分資料庫進行比對。另一方面，我們會將身

分資料庫先進行分類，已達到身分辨識效能的優化。

關鍵字關鍵字關鍵字關鍵字：仿生視覺、動態追蹤、人臉辨認、資料分類


iii 逢甲大學 e-Theses & Dissertations( 100 學年度)

Abstract

Due to the social security is rotting gradually, the security control of public

places and home is enhanced seriously. On the other hand, electronic product is

popularized and its performance is promoted, let a set of complex monitoring and control

system can be achieved and constructed by using personal computer. Therefore, the

purpose of this paper is to accomplish a four-axis dual-CCD (Charge Coupled Device) or

CMOS (Complementary metal-oxide-semiconductor) target tracking and real-time 3D

facial recognition system.

This system uses bionic visual system and adopts dynamic target tracking method

to detect and track the intrusive object. On the other hand, we use the above mentioned

dynamic target tracking method to solve the difficulty of facial recognition and

identification. For the target tracking problem, it is divided into four cases: static to static,

dynamic to static, static to dynamic and dynamic to dynamic. For this paper, we focus on

the situation which is static to dynamic (system is static, intrusion is dynamic) to discuss.

After the target is tracked, we know that where the intrusive object is on the image, and

then we can recognize the face and identity for the area of this intrusion. The recognition

uses the geometric relationship of facial features to identify, and then, take the facial

features and pre-build database to compare. The pre-build database is classified before we

recognize the face and identity on the image. This step can speed up the image processing

in this system.

Keywords: bionic vision, dynamic tracking, facial recognition, data classification


iv 逢甲大學 e-Theses & Dissertations( 100 學年度)

目錄

誌謝誌謝誌謝誌謝 ...................................................................................................................... i

摘要摘要摘要摘要 ..................................................................................................................... ii

Abstract ................................................................................................................... iii

目錄目錄目錄目錄 .................................................................................................................... iv

圖目錄圖目錄圖目錄圖目錄 ................................................................................................................... vii

表目錄表目錄表目錄表目錄 .................................................................................................................... xi

仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與 3D 人臉即時辨認系統符號說明人臉即時辨認系統符號說明人臉即時辨認系統符號說明人臉即時辨認系統符號說明................................. xiii

第一章第一章第一章第一章序論序論序論序論 ............................................................................................................. 1

1.1 研究背景與動機研究背景與動機研究背景與動機研究背景與動機 ....................................................................................... 1

1.2 研究目的研究目的研究目的研究目的.................................................................................................... 2

1.3 國內外相關研究國內外相關研究國內外相關研究國內外相關研究 ....................................................................................... 3

1.3.1 人臉五官辨識相關研究人臉五官辨識相關研究人臉五官辨識相關研究人臉五官辨識相關研究 ....................................................................... 3

1.3.2 動態追蹤相關研究動態追蹤相關研究動態追蹤相關研究動態追蹤相關研究 ............................................................................... 5

第二章第二章第二章第二章系統架構系統架構系統架構系統架構 ..................................................................................................... 6

2.1 系統架構系統架構系統架構系統架構.................................................................................................... 6

2.1.1. 硬體架構硬體架構硬體架構硬體架構................................................................................................ 7

2.1.2. SSC-32 伺服控制器伺服控制器伺服控制器伺服控制器 ........................................................................... 11


v 逢甲大學 e-Theses & Dissertations( 100 學年度)

2.2 追蹤與辨認系統之架構追蹤與辨認系統之架構追蹤與辨認系統之架構追蹤與辨認系統之架構 ......................................................................... 15

第三章第三章第三章第三章理論探討理論探討理論探討理論探討 ................................................................................................... 17

3.1 RC 伺服馬達伺服馬達伺服馬達伺服馬達 ........................................................................................... 17

3.2 動態追蹤動態追蹤動態追蹤動態追蹤.................................................................................................. 19

3.2.1 馬爾可夫隨機場馬爾可夫隨機場馬爾可夫隨機場馬爾可夫隨機場 ................................................................................. 20

3.2.2 背景建構背景建構背景建構背景建構.............................................................................................. 22

3.2.3 光流法光流法光流法光流法.................................................................................................. 24

3.2.4 模板比對模板比對模板比對模板比對.............................................................................................. 27

3.2.5 追蹤方法之探討追蹤方法之探討追蹤方法之探討追蹤方法之探討 ................................................................................. 30

3.3 人臉與身分辨識人臉與身分辨識人臉與身分辨識人臉與身分辨識 ..................................................................................... 33

3.3.1 人臉辨識人臉辨識人臉辨識人臉辨識.............................................................................................. 33

3.3.2 建立三維人臉模型建立三維人臉模型建立三維人臉模型建立三維人臉模型 ............................................................................. 35

3.3.3 人臉身分辨識人臉身分辨識人臉身分辨識人臉身分辨識 ..................................................................................... 38

3.4 TCP/IP 區網連線區網連線區網連線區網連線 ................................................................................... 42

第四章第四章第四章第四章實驗結果實驗結果實驗結果實驗結果 ................................................................................................... 45

4.1. 介面設計介面設計介面設計介面設計.................................................................................................. 45

4.2. 實驗結果實驗結果實驗結果實驗結果.................................................................................................. 50

4.2.1. TCP/IP 區網連線區網連線區網連線區網連線 ............................................................................... 50

4.2.2. 仿生平台之模板追蹤仿生平台之模板追蹤仿生平台之模板追蹤仿生平台之模板追蹤 ......................................................................... 52

4.2.3. 雙攝影機仿生平台與目標追蹤之關係雙攝影機仿生平台與目標追蹤之關係雙攝影機仿生平台與目標追蹤之關係雙攝影機仿生平台與目標追蹤之關係 ............................................. 57

4.2.4. 雙攝影機移動物體之追蹤雙攝影機移動物體之追蹤雙攝影機移動物體之追蹤雙攝影機移動物體之追蹤 ................................................................. 60

4.2.5. 人臉五官辨識人臉五官辨識人臉五官辨識人臉五官辨識 ..................................................................................... 63

4.2.6. 三維人臉模型之建立三維人臉模型之建立三維人臉模型之建立三維人臉模型之建立 ......................................................................... 67


vi 逢甲大學 e-Theses & Dissertations( 100 學年度)

4.2.7. 身份辨識身份辨識身份辨識身份辨識.............................................................................................. 68

第五章第五章第五章第五章結論與未來展望結論與未來展望結論與未來展望結論與未來展望 ....................................................................................... 71

5.1 結論結論結論結論.......................................................................................................... 71

5.1.1. 人臉辨識人臉辨識人臉辨識人臉辨識.............................................................................................. 71

5.1.2. 移動物之追蹤移動物之追蹤移動物之追蹤移動物之追蹤 ..................................................................................... 72

5.1.3. 仿生平台之追蹤仿生平台之追蹤仿生平台之追蹤仿生平台之追蹤 ................................................................................. 73

5.2 未來展望未來展望未來展望未來展望.................................................................................................. 74

參考文獻參考文獻參考文獻參考文獻 ................................................................................................................... 75


vii 逢甲大學 e-Theses & Dissertations( 100 學年度)

圖目錄

圖圖圖圖 2.1 系統架構圖系統架構圖系統架構圖系統架構圖 ......................................................................................................... 6

圖圖圖圖 2.2 立體攝影機之幾何關係圖立體攝影機之幾何關係圖立體攝影機之幾何關係圖立體攝影機之幾何關係圖............................................................................... 7

圖圖圖圖 2.3 立體攝影機之架構圖立體攝影機之架構圖立體攝影機之架構圖立體攝影機之架構圖 ....................................................................................... 7

圖圖圖圖 2.4 硬體關係圖硬體關係圖硬體關係圖硬體關係圖 ......................................................................................................... 8

圖圖圖圖 2.5 四軸雙四軸雙四軸雙四軸雙攝影機攝影機攝影機攝影機伺服平台伺服平台伺服平台伺服平台(正面正面正面正面) ....................................................................... 9

圖圖圖圖 2.6 四軸雙四軸雙四軸雙四軸雙攝影機攝影機攝影機攝影機伺服平台伺服平台伺服平台伺服平台(背面背面背面背面) ....................................................................... 9

圖圖圖圖 2.7 四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖(正面正面正面正面) ....................................................... 10

圖圖圖圖 2.8 四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖四軸雙攝影機伺服平台實體圖(背面背面背面背面) ....................................................... 10

圖圖圖圖 2.9 SSC-32 Layout 圖圖圖圖 .......................................................................................... 11

圖圖圖圖 2.10 SSC-32 接腳設定圖接腳設定圖接腳設定圖接腳設定圖 ....................................................................................... 13

圖圖圖圖 2.11 SSC-32 與藍與藍與藍與藍芽無線模組接線圖芽無線模組接線圖芽無線模組接線圖芽無線模組接線圖 ................................................................. 14

圖圖圖圖 2.12 追蹤與辨認系統之架構圖追蹤與辨認系統之架構圖追蹤與辨認系統之架構圖追蹤與辨認系統之架構圖............................................................................ 16

圖圖圖圖 3.1 伺服馬達構造圖伺服馬達構造圖伺服馬達構造圖伺服馬達構造圖 ............................................................................................. 17

圖圖圖圖 3.2 伺服馬達控制方塊圖伺服馬達控制方塊圖伺服馬達控制方塊圖伺服馬達控制方塊圖 .................................................................................... 18


viii 逢甲大學 e-Theses & Dissertations( 100 學年度)

圖圖圖圖 3.3 伺服馬達輸入接頭伺服馬達輸入接頭伺服馬達輸入接頭伺服馬達輸入接頭 ......................................................................................... 18

圖圖圖圖 3.4 伺服馬達輸入與輸出關係圖伺服馬達輸入與輸出關係圖伺服馬達輸入與輸出關係圖伺服馬達輸入與輸出關係圖[19] ............................................................... 18

圖圖圖圖 3.5 MRF 處理像素關係圖處理像素關係圖處理像素關係圖處理像素關係圖 ................................................................................... 20

圖圖圖圖 3.6 MRF 流程圖流程圖流程圖流程圖[14] ............................................................................................ 21

圖圖圖圖 3.7 背景建構流程圖背景建構流程圖背景建構流程圖背景建構流程圖 ............................................................................................. 22

圖圖圖圖 3.8 2 2 2× × 立方體關係圖立方體關係圖立方體關係圖立方體關係圖 ................................................................................... 26

圖圖圖圖 3.9 模板比對之概念圖模板比對之概念圖模板比對之概念圖模板比對之概念圖 ......................................................................................... 27

圖圖圖圖 3.10 光流法應用於同步四軸伺服機構追蹤之流程圖光流法應用於同步四軸伺服機構追蹤之流程圖光流法應用於同步四軸伺服機構追蹤之流程圖光流法應用於同步四軸伺服機構追蹤之流程圖 .................................... 30

圖圖圖圖 3.11 修改後之光流檢測法之流程修改後之光流檢測法之流程修改後之光流檢測法之流程修改後之光流檢測法之流程 ....................................................................... 31

圖圖圖圖 3.12 膚色檢測與模板比對之流程圖膚色檢測與模板比對之流程圖膚色檢測與模板比對之流程圖膚色檢測與模板比對之流程圖 ................................................................... 32

圖圖圖圖 3.13 人臉五官辨識流程圖人臉五官辨識流程圖人臉五官辨識流程圖人臉五官辨識流程圖 .................................................................................... 34

圖圖圖圖 3.14 人臉五官幾何關係圖人臉五官幾何關係圖人臉五官幾何關係圖人臉五官幾何關係圖 .................................................................................... 34

圖圖圖圖 3.15 Candide-3 基礎人臉模型基礎人臉模型基礎人臉模型基礎人臉模型 ............................................................................ 35

圖圖圖圖 3.16 三維人臉重建流程三維人臉重建流程三維人臉重建流程三維人臉重建流程 ......................................................................................... 35

圖圖圖圖 3.17 Obj 檔內容範例檔內容範例檔內容範例檔內容範例 .............................................................................................. 36


ix 逢甲大學 e-Theses & Dissertations( 100 學年度)

圖圖圖圖 3.18 模糊集合示意圖模糊集合示意圖模糊集合示意圖模糊集合示意圖 ............................................................................................. 38

圖圖圖圖 3.19 TCP/IP 與與與與 OSI(Open System Interconnection)關係圖關係圖關係圖關係圖 .................... 42

圖圖圖圖 4.1 伺服端介面伺服端介面伺服端介面伺服端介面 ...................................................................................................... 46

圖圖圖圖 4.2 客戶端介面客戶端介面客戶端介面客戶端介面 ...................................................................................................... 46

圖圖圖圖 4.3 模板比對介面模板比對介面模板比對介面模板比對介面 ................................................................................................. 47

圖圖圖圖 4.4 Fuzzy 介面介面介面介面 ...................................................................................................... 48

圖圖圖圖 4.5 伺服馬達控制介面伺服馬達控制介面伺服馬達控制介面伺服馬達控制介面 ......................................................................................... 49

圖圖圖圖 4.6 輸入欲比對之模板輸入欲比對之模板輸入欲比對之模板輸入欲比對之模板 ......................................................................................... 52

圖圖圖圖 4.7 模板比對之相對結果模板比對之相對結果模板比對之相對結果模板比對之相對結果 .................................................................................... 52

圖圖圖圖 4.8 模板比對之結果模板比對之結果模板比對之結果模板比對之結果 ............................................................................................. 53

圖圖圖圖 4.9 仿生平台之追蹤場景設定仿生平台之追蹤場景設定仿生平台之追蹤場景設定仿生平台之追蹤場景設定............................................................................ 57

圖圖圖圖 4.10 仿生平台之追蹤場景模擬圖仿生平台之追蹤場景模擬圖仿生平台之追蹤場景模擬圖仿生平台之追蹤場景模擬圖 ....................................................................... 57

圖圖圖圖 4.11 相距相距相距相距 150cm 之之之之 PWM Width 關係圖關係圖關係圖關係圖 ....................................................... 58




x 逢甲大學 e-Theses & Dissertations( 100 學年度)


圖圖圖圖 4.15 模板比對之初始狀況模板比對之初始狀況模板比對之初始狀況模板比對之初始狀況 .................................................................................... 60

圖圖圖圖 4.16 目標物由右至左移動目標物由右至左移動目標物由右至左移動目標物由右至左移動 .................................................................................... 61

圖圖圖圖 4.17 目標物由左至右移動目標物由左至右移動目標物由左至右移動目標物由左至右移動 .................................................................................... 61

圖圖圖圖 4.18 目標物往右移動後復位目標物往右移動後復位目標物往右移動後復位目標物往右移動後復位 ................................................................................ 62

圖圖圖圖 4.19 人臉材質影像人臉材質影像人臉材質影像人臉材質影像 ................................................................................................. 67

圖圖圖圖 4.20 五官辨識結果五官辨識結果五官辨識結果五官辨識結果 ................................................................................................. 67

圖圖圖圖 4.21 三維人臉模型之建立三維人臉模型之建立三維人臉模型之建立三維人臉模型之建立 .................................................................................... 67

圖圖圖圖 4.22 模糊空間之隨機分佈模糊空間之隨機分佈模糊空間之隨機分佈模糊空間之隨機分佈 .................................................................................... 69

圖圖圖圖 4.23 模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖-1 ................................................................... 70

圖圖圖圖 4.24 模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖模糊與直接搜尋時間比較圖-2 ................................................................... 70


xi 逢甲大學 e-Theses & Dissertations( 100 學年度)

表目錄

表表表表 1.1 兩架構之比較表兩架構之比較表兩架構之比較表兩架構之比較表 ................................................................................................ 2

表表表表 2.1 SSC-32 元件功能表元件功能表元件功能表元件功能表 ....................................................................................... 12

表表表表 3.1 Condide-3 特徵特徵特徵特徵點點點點設定表設定表設定表設定表 ............................................................................ 37

表表表表 3.2 各類隸屬函數各類隸屬函數各類隸屬函數各類隸屬函數-1[27] ..................................................................................... 39

表表表表 3.3 各類隸屬函數各類隸屬函數各類隸屬函數各類隸屬函數-2[27] ..................................................................................... 40

表表表表 3.4 臉型規則表臉型規則表臉型規則表臉型規則表 ...................................................................................................... 41

表表表表 3.5 眼型規則表眼型規則表眼型規則表眼型規則表 ...................................................................................................... 41

表表表表 3.6 嘴型規則表嘴型規則表嘴型規則表嘴型規則表 ...................................................................................................... 41

表表表表 3.6 特殊用途之位址特殊用途之位址特殊用途之位址特殊用途之位址 ............................................................................................. 43

表表表表 4.1 影像壓縮傳輸流量表影像壓縮傳輸流量表影像壓縮傳輸流量表影像壓縮傳輸流量表 .................................................................................... 51

表表表表 4.2 模板比對時間序列表模板比對時間序列表模板比對時間序列表模板比對時間序列表-1 (sec) ..................................................................... 54



表表表表 4.5 目標與平台之目標與平台之目標與平台之目標與平台之 PWM Width 關係關係關係關係 ............................................................... 58


xii 逢甲大學 e-Theses & Dissertations( 100 學年度)

表表表表 4.6 人臉與五官判別之結果人臉與五官判別之結果人臉與五官判別之結果人臉與五官判別之結果 ................................................................................ 63

表表表表 4.7 人臉與五官判別之結果數據人臉與五官判別之結果數據人臉與五官判別之結果數據人臉與五官判別之結果數據 ....................................................................... 64

表表表表 4.8 模糊分類之結果模糊分類之結果模糊分類之結果模糊分類之結果(臉型臉型臉型臉型) ................................................................................. 65

表表表表 4.9 模糊分類之結果模糊分類之結果模糊分類之結果模糊分類之結果(眼型眼型眼型眼型) ................................................................................. 65

表表表表 4.10 模糊分類之結果模糊分類之結果模糊分類之結果模糊分類之結果(嘴型嘴型嘴型嘴型) ................................................................................. 66

表表表表 4.11 隨機資料之格式隨機資料之格式隨機資料之格式隨機資料之格式 ............................................................................................. 68

表表表表 4.12 隨機資料之特徵限制範圍隨機資料之特徵限制範圍隨機資料之特徵限制範圍隨機資料之特徵限制範圍............................................................................ 69

表表表表 5.1 人臉五官幾何關係人臉五官幾何關係人臉五官幾何關係人臉五官幾何關係 ......................................................................................... 71


xiii 逢甲大學 e-Theses & Dissertations( 100 學年度)

仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與仿生視覺目標動態追蹤與 3D 人臉即時辨認系統符號說明人臉即時辨認系統符號說明人臉即時辨認系統符號說明人臉即時辨認系統符號說明

馬爾可夫隨機場馬爾可夫隨機場馬爾可夫隨機場馬爾可夫隨機場：：：：

: t

: t-1 t

: t-1 t

: t

: t-1

: t+1

:

:

t

t

t

s

p

f

I

O

L

β

β

β

µ

θ

時間之影像資料

時間與影像相減結果

時間與影像相減後之標記值

時間之模型參數



模型參數

二質化閥值


xiv 逢甲大學 e-Theses & Dissertations( 100 學年度)

背景建構背景建構背景建構背景建構：：：：

max

min

max

min

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

s

s

r

rs

rs

r

g

I x

B x

B x

D x

I x

B x

B x

D x

I x

輸入影像中之像素值

輸入影像序列中之像素最大值

輸入影像序列中之像素最小值

輸入影像序列中之全像素最大值

輸入影像序列中之紅色像素值

輸入影像序列中之紅色像素最大值

輸入影像序列中之紅色像素最小值

輸入影像序列中之全紅色像素最大值

輸入影像序列中之

max

min

max

min

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

( ) :

gs

gs

g

b

bs

bs

b

B x

B x

D x

I x

B x

B x

D x

綠色像素值

輸入影像序列中之綠色像素最大值

輸入影像序列中之綠色像素最小值

輸入影像序列中之全綠色像素最大值

輸入影像序列中之藍色像素值

輸入影像序列中之藍色像素最大值

輸入影像序列中之藍色像素最小值

輸入影像序列中之全藍色像素最大值


xv 逢甲大學 e-Theses & Dissertations( 100 學年度)

光流法光流法光流法光流法：：：：

( , , ) :

( , , ) :

:

: y

:

:

:

:

x

y

t

E x y z

E x y t

x x

y

t

E E x

E E y

E E t

∆

∆

∆

空間中某一點的亮度值

平面中某一點的亮度值

軸的微小偏移

軸的微小偏移

時間的微小偏移

對的偏微分

對的偏微分

對的偏微分

模模模模板板板板比對比對比對比對：：：：

( )( )

( )( )( )( )

, :

, :

:

:

, : (x,y) Squared difference

, : (x,y) Normalized squared difference

, : (x,y) Cross correlation

, : (x,y) Normalized cross

I x y

T x y

w

h

S x y

NS x y

C x y

NC x y

輸入影像中之像素值

輸入之模版像素值

模版的寬度

模版的高度

位置之合適度

位置之合適度

位置之合適度

位置之

( )( )

correlation

, : (x,y) Correlation coefficient

, : (x,y) Normalized correlation coefficient

R x y

NR x y

合適度

位置之合適度

位置之合適度


1 逢甲大學 e-Theses & Dissertations( 100 學年度)

第一章第一章第一章第一章序論序論序論序論

1.1 研究背景與動機研究背景與動機研究背景與動機研究背景與動機

近年來科技一直的在進步，人民的生活水準也漸漸的提高，電子產品帶來的

便利是無庸置疑的。但另一方面，它所衍生的資訊安全問題一直的困擾著我們。

個人資料的外洩、帳號的竊取等等都常常發生在我們生活周遭。如何有效的阻止

這一類電子犯罪的發生，正是我們所需克服的課題。另一方面，在美國 911事件

發生後，反恐變成為各個國家所重視的議題。恐怖份子很有可能在國際交通設施

中進行恐怖行動，所以要如何在人潮擁擠的情況下將其辨認並加以追蹤便是我們

所注重的課題。

傳統的鎖匙到現在的電子鎖都有被破解的疑慮，而且帶著鑰匙或是電子 IC

卡本身就是一種風險。那是否能使用每個人都是獨一無二的這個特點來打造一副

特別的鎖匙？生物辨識(Biometric Recognition)就是可實現這個目標的方法。一般

而言除了指紋辨識與虹膜辨識之外最為一般人常用的為人臉辨識。人臉為最顯著

的人類特徵，利用此特徵便可直觀的辨認出此人之身分。

本論文以人臉辨識為基礎核心，搭配仿生視覺與動態追蹤來作為目標追蹤與

身分辨識之手段。本研究之主要方向為如何在四軸雙攝影機監控系統之下能夠即

時的判別入侵物體的位置，並實現即時辨識五官與身分。另一方面，為強化身分

辨識的即時性，我們加入資料庫之分類。



1.2 研究目的研究目的研究目的研究目的

本研究為即時的目標追蹤與人臉五官身分辨識，因此研究目的分為下列三

點：

1. 以雙攝影機之架構進行即時人臉之辨識與追蹤並提供往後追蹤、定位與

追瞄系統之需求。

2. 運用仿生視覺平台進行特定物體之即時辨識與追蹤。

3. 建立低成本之追蹤系統架構。

雙攝影機與單攝影機架構之優缺點比較如下表所示：

表 1.1 兩架構之比較表

雙攝影機單攝影機

空間中定位性能 ○ ╳

辨識準確度 ○ △

辨識複雜影像 ○ △

追蹤之穩定性 ○ △

架構簡便性 △ ○

適用範圍 ○ △

○：可

△：尚可

╳：否

首先，我們利用雙攝影機之架構搭配動態追蹤判別影像中入侵物體之位置，

並於影像中入侵物體之範圍進行人臉五官辨識判別其特徵是否為人臉五官特徵。

經過人臉五官辨識後，將人臉特徵點擷取出來，並與預先建立之身分資料庫加以

比對。最後並依照其比對結果加以追蹤。

架

構性

能



1.3 國內外相關研究國內外相關研究國內外相關研究國內外相關研究

1.3.1人臉五官辨識相關研究

人臉五官辨識是一個複雜的課題，其牽扯到的層面有許多種，例如：

1. 攝影設備之調校與性能

2. 攝影區域之採光或燈光設備的位置、強弱與色溫之設定

3. 人臉特徵之獨特性

4. 穿戴於人臉上之裝飾品

由於上述之情況都會影響判別之結果，所以為了增加其判斷之準確性，有許多的

判別方法被提出來。以下為目前已知的人臉辨識相關研究：

[1] 1999年：Moritz Störring、Hans J. Andersen 與 Erik Granum等人對不同人種

於 R-G平面上統計出相關數據，並且探討在不同光源下的影響。

[2] 2000年：Maricor Soriano、Birgitta Martinkauppi、Sami Huovinen 與 Mika

Laaksonen 等人使用 R-G 平面之膚色統計圖形建立其膚色於 R-G 平面上之

範圍限制，使用其限制判斷便可提取出影像中之膚色像素。

[3] 2000年：El-Khamy、Abdel-Alim 與 Saii等人利用擷取統計特徵於類神經網

路之人臉辨識系統上。而在 2001年他們加入膚色紋理參數以加強其效能。

[4] 2003年：Y-QiongXu、Bi-Cheng Li與 Bo Wang等人利用類神經網路與隱性

馬爾可夫模型於人臉偵測上。

[5] 2003年：Rik Fransens、Jan De Prins與 Luc Van Gool等人利用基於 SVM

（Support Vector Machine）之非參數判別分析（Nonparametric Discriminant

Analysis）應用於人臉偵測上。

[6] 2006 年：張元翔與林榮城等人利用膚色擷取，並搭配人臉五官之幾何關係

擷取出人臉五官之範圍與位置。經由影像處理，此辨識系統可偵測角度不同

之人臉位置與其五官特徵點之相關位置。



[7] 2007年：Jie Yan利用整體 SVM 回歸於人臉辨識系統上。

[8] 2008 年：國立中央大學資訊工程研究所范國清與李亭緯等人利用 AAM

（Active Appearance Model）、PCA（Principal Component Analysis）與 SVM

於人臉辨識系統中。

[9] 2008年：蔡吉勝與黃胤人等人利用雙膚色檢測加強人臉辨識之效能。

[10] 2010 年：逢甲大學自動控制工程學系黃榮興與吳曜廷等人，利用人臉五官

之幾何關係，搭配模板比對，找出五官之位置，並加以分析其相對應之命格。



1.3.2動態追蹤相關研究

動態追蹤方面，在影像處理中是很重要的一環。最簡單的動態追蹤為影像相

減法。此方法試利用在連續且背景固定的影像中物體移動的差異來判別影像中變

化的程度。此方法雖然簡單，但是並不適用於許多場合之中。以下為動態追蹤之

相關研究：

[11] 1995年：Jae-Woong Yi、Tae Seok Yang與 Jun-Ho Oh等人利用卡爾曼濾波器

（Kalman filter）對立體影像中移動物體的深度與 3D運動進行估測。

[12] 1998年：Jaemin Kim與 John W. Woods等人利用 3-D 卡爾曼濾波器（3-D

Kalman filter）於影像運動估測。

[13] 2002年：Michael E. Farmer、Rein-Lien Hsu與 Anil K. Jain等人利用交互式

多模型卡爾曼濾波器（interacting multiple model Kalman filter）進行高速人

體運動的強健追蹤。

[14] 1999年：Christophe Dumontier、Franck Luthon與 Jean-Pierre Charras 等人實

現了即時馬爾可夫隨機場影像動態偵測之硬體與軟體設計。

[15] 2000年：Ismail Haritaoglu、David Harwood與 Larry S. Davis等人在即時視

訊監視系統上採用學習背景模型的機制達到影像中人體的辨識與追蹤。

[16] 2003 年：私立逢甲大學資訊工程學系何信瑩與王少強等人以 TLBS

（Threshold Leaning Background Subtraction）為基礎並加以改良。為了背景

建構之穩定性，而採用 MHI（Motion History Image）之概念，提出 MHM

（Motion History Mask）。

仿生視覺目標動態追蹤與 3D

2.1 系統架構系統架構系統架構系統架構

此研究採用 Lynxmotion

器。此伺服馬達控制器可

PC端可經由以上連線傳送

轉換其指令再傳送伺服馬達所需之

馬達控制之需求。

在本研究中 PC端分為客戶端與伺服端

伺服端為人臉五官、身分辨識

制訊號加以轉換成伺服馬達所需之

臉即時辨認系統之設計與實現

3D 人臉即時辨認系統之設計與實現

6 逢甲大學 e-Theses & Dissertations( 100

第二章第二章第二章第二章系統架構系統架構系統架構系統架構

Lynxmotion之 SSC-32 Servo Controller [17]作為伺服馬達之控制

可與 PC端以 RS-232或是藍芽無線模組連接

端可經由以上連線傳送 SSC-32之所需規格指令至控制器中。經

再傳送伺服馬達所需之 PWM（Pulse Width Modulation

端分為客戶端與伺服端。客戶端為擷取影像與傳送影像

身分辨識與動態追蹤。SSC-32伺服控制器為接收

制訊號加以轉換成伺服馬達所需之 PWM 訊號。仿生視覺目標動態追蹤與

臉即時辨認系統之設計與實現如下圖所示。

圖 2.1 系統架構圖

Theses & Dissertations( 100 學年度)

為伺服馬達之控制

或是藍芽無線模組連接，另一方面

經控制器判斷與

Pulse Width Modulation）訊號，達到

客戶端為擷取影像與傳送影像，而

伺服控制器為接收 PC端之控

仿生視覺目標動態追蹤與 3D人



2.1.1. 硬體架構

在[18]中，不考慮困難的攝影機校準而採用 RSD(relative stereo disparities)與

已知高度的參考物體來實現類人類視覺感測系統。使用此方法量測高度可達一個

Pixel五倍的精準度，而 x 方向的量測可以達到 1.5倍的精準度。其一般立體攝影

機設定圖與架構圖如下所示：

圖 2.2 立體攝影機之幾何關係圖

圖 2.3 立體攝影機之架構圖


本論文之硬體架構為

右旋轉、一顆控制兩顆攝影機

強此系統之偵測範圍。其



硬體架構為四軸伺服平台。兩顆伺服馬達分別控制兩顆

攝影機之俯仰角、最後一顆控制整體之左右旋轉角

其硬體關係圖與概念圖如下：

圖 2.4 硬體關係圖


兩顆伺服馬達分別控制兩顆攝影機之左

最後一顆控制整體之左右旋轉角，以加


圖 2.5

圖 2.6



2.5 四軸雙攝影機伺服平台(正面)

2.6 四軸雙攝影機伺服平台(背面)



圖 2.7

圖 2.8



四軸雙攝影機伺服平台實體圖(正面)

四軸雙攝影機伺服平台實體圖(背面)




2.1.2. SSC-32 伺服控制器

SSC-32 Servo Controller為 Lynxmotion公司之產品，此控制器之特點如下：

多軸控制、高定位精度、極高解析度、個別伺服馬達微調與控制、馬達組控制、

可支持數位或類比之輸入與支持藍芽無線控制。SSC-32 Servo Controller對 PWM

訊號之解析度可達 1us，此程度之解析度可實現極為平滑之伺服馬達控制。另一

方面，此可對指令做出即時的速度控制、馬達轉動之定時控制等。此控制器較為

特殊的功能為“Group Move”，此功能可讓任何伺服馬達組合同時的作動與同

時的停止。利用此功能可完成困難的運動模式。

另一方面可利用查詢指令做 SSC-32與 PC端之雙向溝通。其 Layout圖與其

元件功能表如下所示：

圖 2.9 SSC-32 Layout圖



表 2.1 SSC-32元件功能表

1 LDO (Low Dropout Regulator) 低壓降穩壓器

2 提供電源於 CH16至 CH31

3 電源來源選擇接腳

4 邏輯電路電壓接腳，可使用 9VDC 做為輸入電壓，供給 IC 與任何接

至主板的 5VDC 電壓需求之電路，有效範圍為 6VDC 至 9VDC。

5 電源來源選擇接腳

6 提供電源於 CH0至 CH15

7 伺服馬達接腳輸出

8 ATMEGA 168-20PU

9 baud rate選擇接腳，支援 2400、9600、38.4k與 115.2k

10 可支持數位輸入與類比輸入

11 系統狀態燈

12 RS232-DB9傳輸接頭

13 EEPROM（Electrically-Erasable Programmable Read-Only Memory）

電子抹除式可複寫唯讀記憶體

14 TTL serial port或 DB9 serial port選擇接腳



SSC-32 Servo Controller上有許多接腳可供使用者設定。如電源供應方式、

傳輸速度設定、伺服馬達連接與 Bot Board之 TTL Serial通訊連接等等。其接腳

連接設定如下圖所示：

圖 2.10 SSC-32接腳設定圖



SSC-32控制卡可支援單向的 TTL 序列通訊。若想經由無線裝置控制，可採

用藍芽無線模組。 PC端可經由 Bluetooth USB Dongle找到 BlueSMIRF並在 PC

端中產生虛擬的 PORT，之後便可使用此 PORT傳輸控制卡之指令加以控制伺服

馬達。接線圖如下所示。

圖 2.11 SSC-32與藍芽無線模組接線圖



2.2 追蹤與辨認系統之架構追蹤與辨認系統之架構追蹤與辨認系統之架構追蹤與辨認系統之架構

本研究之追蹤系統其架構圖如下。由各伺服馬達之姿態決定了兩顆攝影機所

擷取的影像區域，影像經由有線傳輸介面或是無線傳輸模組傳送至 PC 端。PC

端經由影像動態偵測、人臉五官判別與身分辨識後，開始進行追蹤任務。由追蹤

物體在影像中的位置，進行空間中位置計算並轉換成伺服馬達所需之角度指令。

伺服馬達指令由 PC 端經 RS-232介面或藍芽(Blue Tooth)介面傳送至 SSC-32

Servo Controller，此控制卡再將 PWM 訊號傳送至相對應的伺服馬達以進行角度

控制，達到追蹤之目的，如圖 2.12所示。

在本研究中，PC 端主要處理以下三項程序：影像前處理、人臉身分辨識與

影像之動態追蹤。詳細的影像處理程序於往後章節會加以說明。

1. 影像前處理：

一般而言，影像由攝影機拍攝後，輸出訊號為類比訊號。若電腦端需要

此影像資訊時，必須藉由影像擷取卡加以擷取。擷取至電腦端之影像，會由

於攝影機之狀況需以影像前處理加以修正，其狀況如：鏡頭、焦距、類型與

製程上，會造成影像中雜訊的產生；攝影機硬體上光源自動平衡是造成影像

擷取快慢原因之一；拍攝環境主要為影像拍攝時所產生色偏的原因之一。

2. 人臉身分辨識：

PC 端經由影像處理判別影像範圍內是否為人臉影像，並將影像中之人

臉特徵擷取出來，與預先建立好之資料庫比對，找出此人之身分。

3. 影像之動態追蹤：

當影像傳送至 PC端後並經過影像前處理與人臉辨識後，利用找尋出來

的人臉影像位置作為回授訊號，控制四軸伺服平台進行人臉追蹤。


圖



圖 2.12 追蹤與辨認系統之架構圖




第三章第三章第三章第三章理論探討理論探討理論探討理論探討

3.1 RC 伺服馬達伺服馬達伺服馬達伺服馬達

RC伺服馬達一般意指 Radio Control伺服馬達。此種馬達一般應用於無線電

遙控模型上。由於遙控模型在轉向時，需要定扭力的維持在某一角度上，而直流

馬達無法提供此需求，所以進而有所謂的 RC伺服馬達的出現。RC伺服馬達利

用減速機構，加強其扭力、採用電位計與控制電路達到位置控制。

在結構上，一般伺服馬達內部包含了一個小型直流馬達；一組變速齒輪組；

一個回饋可調電位計與一塊控制電路板。如下圖所示。

圖 3.1 伺服馬達構造圖

(a)伺服馬達上視圖；(b)伺服馬達側視圖；(c)伺服馬達下視圖


伺服馬達控制為一個典型閉迴路系統

馬達驅動減速齒輪組

計將旋轉角度轉換成一比例電壓回授

號比較，產生修正脈衝，

號相等，則修正脈衝為零

標準伺服馬達輸入端為

分別代表控制訊號、電源與接地

控制伺服馬達轉動，

訊號。此訊號周期為 20ms

之間。其輸入訊號與伺服馬達輸出轉角關係圖如下

圖 3.4



一個典型閉迴路系統，如下圖所示。

圖 3.2 伺服馬達控制方塊圖

齒輪組，其輸出端帶動線性比例電位計做為位置檢測

計將旋轉角度轉換成一比例電壓回授給控制電路，控制電路再將其與輸入控制訊

，並驅動伺服馬達正向或反向轉動。若比例電壓與控制訊

則修正脈衝為零。

標準伺服馬達輸入端為 3pin 輸入，其顏色一般分為白、紅與黑色三種

電源與接地。伺服馬達 3pin接頭如下圖所示。

圖 3.3 伺服馬達輸入接頭

，需輸入 PWM（Pulse Width Modulation）

20ms，一般若無特別規定，PWM 寬度通常在

其輸入訊號與伺服馬達輸出轉角關係圖如下。

3.4 伺服馬達輸入與輸出關係圖[19]


其輸出端帶動線性比例電位計做為位置檢測，此電位

將其與輸入控制訊

若比例電壓與控制訊

紅與黑色三種，其

。

）訊號做為控制

寬度通常在 0.5ms~2.5ms



3.2 動態追蹤動態追蹤動態追蹤動態追蹤

在本研究中所闡述之動態追蹤是指影像中即時的找尋移動中或是與目標特

徵相近之物體，並且標記與鎖定。在機器人自動控制中，障礙物搜索、迴避或是

抓取等課題在感測器上的使用是非常重要的。

一般在此領域上常用之感測器有：紅外線感測器、雷射測距儀、超音波、雷

達、熱成像儀與攝影機等等。上述之各類型感測器都有其優缺點。例如：雷射測

距儀雖然準確，但是成本昂貴；超音波可搜索範圍可大可小，但其能量傳遞容易

因介質而衰減；攝影機雖然常見並取得容易，但在拍攝之影像中容易產生遮蔽之

問題等等。在此，本研究採用最常看到的感測器，也就是使用攝影機作為動態追

蹤之手段。

在影像處理中要達到動態追蹤之方法有很多種，而每一種演算法適合的情況

與場所也不盡相同。以下提出四種常見之動態追蹤演算法作為研究之對象：

� 馬爾可夫隨機場(Markov Random Field)

� 背景建構

� 光流法(Optical Flow)

� 模板比對


3.2.1馬爾可夫隨機場

馬爾可夫隨機場[20]

念為：當給定當前狀況與訊息的情況之下

去的狀態對於預測未來是無關

隨機變數所組成的。

於一般影像處理中時

影像的大小為 N N× ，則此影像可能的型式就有

則會有2642 =1.0443888814131525066917527107166e+123

但這只表示了64 64× 這麼小的影像

概念：給定我們感興趣的像素以外的資料與只給定感興趣像素鄰居的資料所做出

的條件機率是一樣的。

果一樣的答案。

在馬爾可夫隨機場演算法中

鄰像素狀態來決定的。除了目前時間

與 t+1之相對的像素。如



馬爾可夫隨機場

[20]可視為具有馬爾可夫性質之隨機場。馬爾可夫性質之概

當給定當前狀況與訊息的情況之下，只有當前的狀態會用來預測未來

去的狀態對於預測未來是無關的。而隨機場之概念為：由樣本空間取樣所構成的

影像處理中時，假設影像中的深度只有 1，也就是只有黑色和白色

則此影像可能的型式就有2

2N 種可能。若64 64

2 =1.0443888814131525066917527107166e+1233，這是一個天文數字

這麼小的影像。為了簡化此問題，可應用馬爾可夫隨機場

給定我們感興趣的像素以外的資料與只給定感興趣像素鄰居的資料所做出

便可大量的減少其計算量，而得到與計算整張影像的結

在馬爾可夫隨機場演算法中，要判斷像素 S是否為移動物體之像素是根據相

除了目前時間 t 相鄰的像素外，此演算法還考慮了時間

如下圖所示。

圖 3.5 MRF處理像素關係圖


馬爾可夫性質之概

只有當前的狀態會用來預測未來，過

由樣本空間取樣所構成的

也就是只有黑色和白色、

64 64× 的影像，

這是一個天文數字，

馬爾可夫隨機場之

給定我們感興趣的像素以外的資料與只給定感興趣像素鄰居的資料所做出

而得到與計算整張影像的結

是否為移動物體之像素是根據相

此演算法還考慮了時間 t-1


馬爾可夫隨機場於影像中移動物體之偵測演算法流程

作輸入。當時間等於 t 時，

其結果一併記錄於暫存器中以供下一步之運算

減並取其絕對值與二值化

而得到馬爾可夫隨機場之結果

所需。整體馬爾可夫隨機場之演算流程



馬爾可夫隨機場於影像中移動物體之偵測演算法流程需以三張連續影像當

，將 1tI − 與 tI 相減並取絕對值之結果與將其進行二值化之

其結果一併記錄於暫存器中以供下一步之運算。時間等於 1t + 時，

減並取其絕對值與二值化。其結果會與前步驟之結果進行最小能量法之計算

而得到馬爾可夫隨機場之結果。最後將其結果記錄於暫存器中，供下一次運算之

整體馬爾可夫隨機場之演算流程如下圖所示：

圖 3.6 MRF流程圖[14]


需以三張連續影像當

取絕對值之結果與將其進行二值化之

，將 tI 與 1tI + 相

其結果會與前步驟之結果進行最小能量法之計算，進

供下一次運算之


3.2.2背景建構

在許多攝影場合中，

像中之背景也幾乎不變，

的轉變等等。所以在此情況下

進入背景影像時，所攝得的影像與背景影像相減

圍。

一般影像中雜訊會因硬體或是軟體的因素而產生

系統之架構中有所闡述，

背景建構技術[15][16]其主要的概念為

並且以此數據將移動物體與背景做分離

演算法時，便會開始依照擷取時間依序編號

當作背景基底。而後，若輸入影像之時間序列在學習時間中

供之後動態追蹤使用。經過了

進行辨識。其流程圖如下圖所示



，攝影機之角度、位置與焦距等狀況是不變的

，除非長時間的拍攝所造成的天色改變或是拍攝地點天氣

所以在此情況下，便可假設已具有無入侵物之背景影像

所攝得的影像與背景影像相減，得出的影像差變為入侵物之範

中雜訊會因硬體或是軟體的因素而產生。硬體之因素於追蹤與辨識

，而軟體上的因素為影像的壓縮會使影像產生失真現象

其主要的概念為：學習在一定時間內影像雜訊的變動率

並且以此數據將移動物體與背景做分離。其演算法流程為：當輸入影像開始進入

便會開始依照擷取時間依序編號。若時間序列為 0 時，

若輸入影像之時間序列在學習時間中，便會計算相關參數

經過了學習時間後，輸入影像便會與背景基底與相關參數

下圖所示：

圖 3.7 背景建構流程圖


位置與焦距等狀況是不變的，所以在影

除非長時間的拍攝所造成的天色改變或是拍攝地點天氣

便可假設已具有無入侵物之背景影像。當入侵物

得出的影像差變為入侵物之範

硬體之因素於追蹤與辨識

而軟體上的因素為影像的壓縮會使影像產生失真現象。

學習在一定時間內影像雜訊的變動率，

當輸入影像開始進入

，便會將其影像

便會計算相關參數

輸入影像便會與背景基底與相關參數



在[15]背景建構方法中需計算 max( )sB x 、 min ( )sB x 與 ( )D x ，分別為某一像素 ( )I x

在影像間隔之間的最大值、最小值與最大差異值。由於本研究需以彩色形式判斷

入侵物體，所以將 max( )sB x 、 min ( )sB x 與 ( )D x 分解成 max( )rsB x 、 min ( )rsB x 、 ( )rD x 、

max( )gsB x 、 min ( )gsB x 、 ( )gD x 、 max( )bsB x 、 min ( )bsB x 與 ( )bD x 。在時間T 內計算於 ( )I x 以

上六個參數，之後並進行入侵物體之判斷。判斷式如下式所示：

max min

max min

max min

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

r rs r r rs r

g gs g g gs g

b bs b b bs b

I x B D x I x B D x

I x B D x or I x B D x

I x B D x I x B D x

− > − >

− > − >

− > − >

(3.1)



3.2.3光流法

在連續影像中，我們可以將其看成每一秒有 n 幀圖片快速的變換，而每一幀

影像互相都有關連性。以下兩者皆為紀錄其影像內變化趨勢。

1. 影像流(Image flow)：在連續且背景固定的影像中，假若有物體經過，便

可以利用此物體投影在影像上的二維速度來表示三維空間中相對應投影

點的速度。

2. 光流(Optical flow)[21]：在連續影像中，影像強度(亮暗程度)的變化。

在連續影像中，會產生影像流為零，但光流不一定為零的情況，反之影像流

不為零而光流為零的情況。

我們可以假設某一點在三維空間中移動。當時間間隔很小時，此點投影到影

像中的影像強度(image intensity)不變，數學表示式如下：

( , , ) ( , , )E x y t E x x y y t t= + ∆ + ∆ + ∆ (3.2)

對上式之右項以泰勒級數對(x, y, t)展開，並且忽略高次項，其結果如下式所

示：

( , , ) ( , , )

0

0

x y t

x y t

E x y t E x x y y t t

E x E y E t

x yE E E

t t

= + ∆ + ∆ + ∆

⇒ ∆ + ∆ + ∆ =

∆ ∆⇒ + + =

∆ ∆

(3.3)

xE 、 yE 與 tE 分別為 E 對 x 、 y 與 t 的偏微分。當取樣時間很小時可改寫成

下式：

0x y t

dx dyE E E

dt dt+ + = (3.4)

令dx

udt

= 、dy

vdt

= 可得到下式：

0x y tE u E v E+ + = (3.5)



要解上式方程式還需其他之限制，在[22]中採用兩種平滑限制條件：

1. 光流速度梯度大小的最小化：

22u u

x y

∂ ∂ + ∂ ∂ (3.6)

22v v

x y

∂ ∂ + ∂ ∂ (3.7)

2. 利用光流中 x 與 y 元素之拉普拉斯平方和（The squares of the Laplacians of x-

and y-components）來測量光流場的平滑性。如下式所示：

2 22

2 2

u uu

x y

∂ ∂∇ = +∂ ∂

(3.8)

2 22

2 2

v vv

x y

∂ ∂∇ = +∂ ∂

(3.9)

為了加速系統運算速度，在此採用[21]中最小平方解。計算感興趣之區域

(ROI Region of Interest)內像素亮度守恒方程式總和。如下式所示：

2( , , ) ( , , ) ( , , )x i i y i i t i i

i

E x y t u E x y t v E x y t ⋅ + ⋅ + ∑ (3.10)

可利用下式計算出：

T TM MV M b= (3.11)

uV

v

=

(3.12)

1 1

2 2

x y

x y

xn yn

E E

E EM

E E

=

⋮ ⋮ (3.13)

1

2

t

t

tn

E

Eb

E

= −

⋮ (3.14)



其中 xnE 、 ynE 與 tnE 分別為第 n 個區域內，E 對 x、y 與 t 的偏微分，其解為：

1T TuV M M M b

v

− = =

(3.15)

對於 xE 、 tE 與 tE 在[22]中，以一個 2 2 2× × 之立方體介紹其近似公式，如下

圖所示：

圖 3.8 2 2 2× × 立方體關係圖

其近似公式如下式所示：

, 1, , , 1, 1, 1, ,

, 1, 1 , , 1 1, 1, 1 1, , 1

1{ - -

4

- - }

x i j k i j k i j k i j k

i j k i j k i j k i j k

E E E E E

E E E E

+ + + +

+ + + + + + + +

≈ +

+ + (3.16)

1, , , , 1, 1, , 1,

1, , 1 , , 1 1, 1, 1 , 1, 1

1{ - -

4

- - }

y i j k i j k i j k i j k


E E E E E

E E E E

+ + + +

+ + + + + + + +

≈ +

+ + (3.17)

, , 1 , , 1, , 1 1, ,

, 1, 1 , 1, 1, 1, 1 1, 1,

1{ - -

4

- - }

t i j k i j k i j k i j k


E E E E E

E E E E

+ + + +

+ + + + + + + +

≈ +

+ + (3.18)


3.2.4模板比對

在追蹤特定目標物時

此樣本進行模板比對。也就是利用模

最相近的區域。此概念如下圖所示

本實驗中，採用 OpenCV

對之演算法分別為：Squared difference

correlation、Normalized cross correlation

correlation coefficient。這六種判斷法則如下所示



在追蹤特定目標物時，若已經有目標物之樣本時，在影像處理中

也就是利用模板在輸入影像中水平、垂直的移動

此概念如下圖所示：

圖 3.9 模板比對之概念圖

OpenCV進行模板比對。在此函式庫中，提供了六種模

Squared difference、Normalized squared difference

Normalized cross correlation、Correlation coefficient與

這六種判斷法則如下所示：


在影像處理中，便可根據

垂直的移動，去找尋

提供了六種模板比

Normalized squared difference、Cross

與 Normalized



Squared difference：

( ) ( ) ( )21 1

' 0 ' 0

, ', ' ', 'h w

y x

S x y T x y I x x y y− −

= == − + + ∑∑ (3.19)

Normalized squared difference：

( )( ) ( )

( ) ( )

21 1

' 0 ' 0

2 21 1 1 1

' 0 ' 0 ' 0 ' 0

', ' ', '

,

', ' ', '

h w

y x

h w h w

y x y x

T x y I x x y y

NS x y

T x y I x x y y

− −

= =

− − − −

= = = =

− + + =

+ +

∑∑

∑∑ ∑∑

(3.20)

Cross correlation：

( ) ( ) ( )1 1

' 0 ' 0

, ', ' ', 'h w

y x

C x y T x y I x x y y− −

= =

= + +∑∑ (3.21)

Normalized cross correlation：

( )( ) ( )

( ) ( )

1 1

' 0 ' 0

2 21 1 1 1

' 0 ' 0 ' 0 ' 0

', ' ', '

,

', ' ', '

h w

y x

h w h w

y x y x

T x y I x x y y

NC x y

T x y I x x y y

− −

= =

− − − −

= = = =

+ +=

+ +

∑∑

∑∑ ∑∑

(3.22)

Correlation coefficient：

( )1 1

' 0 ' 0

', 'h w

y x

T x y

Th w

− −

= ==×

∑∑

(3.23)

( ) ( )', ' ', 'T x y T x y T= −ɶ

(3.24)

( )( )

1 1

' 0 ' 0

', '

,

h w

y x

I x x y y

I x yh w

− −

= =+ +

=×

∑∑

(3.25)

( ) ( ) ( )', ' ', ' ,I x x y y I x x x y I x y+ + = + + −ɶ (3.26)

( ) ( ) ( )1 1

' 0 ' 0

, ', ' ', 'h w

y x

R x y T x y I x x y y− −

= == + +∑∑ ɶɶ

(3.27)



Normalized correlation coefficient：

( )( ) ( )

( ) ( )

1 1

' 0 ' 0

2 21 1 1 1

' 0 ' 0 ' 0 ' 0

', ' ', '

,

', ' ', '

h w

y x

h w h w

y x y x

T x y I x x y y

NR x y

T x y I x x y y

− −

= =

− − − −

= = = =

+ +=

+ +

∑∑

∑∑ ∑∑

ɶɶ

ɶ ɶ

(3.28)

在上述式中， ( ),I x y 為影像中座標 ( ),x y 的像素值； ( ),T x y 為模板影像中座

標 ( ),x y 的像素值；w 與 h 分別為模板影像的寬與高；T 為模板之平均像素值；I

為輸入影像之目前比對範圍平均像素值。應用上述之判別法之時機並不一定，需

視追蹤環境與目標物來選定較合適之判斷法。


3.2.5追蹤方法之探討

經四種動態影像追蹤之演算法於四軸仿生視覺平台之測試

馬爾可夫、背景建構與光流法較不適用於四軸仿生視覺平台

因在於經動態追蹤後轉動平台

之背景已大幅改變。此現象於上述之演算法中容易造成判斷的錯誤

控制伺服機構。以光流法

意圖：

圖 3.10 光流法應用於同步四軸伺服機構追蹤之流程圖



追蹤方法之探討

經四種動態影像追蹤之演算法於四軸仿生視覺平台之測試。於演算法實現上

與光流法較不適用於四軸仿生視覺平台即時同步的追蹤

因在於經動態追蹤後轉動平台，使各攝影機與目標物正交。在這過程中

此現象於上述之演算法中容易造成判斷的錯誤

以光流法為例，以下為光流法應用於同步四軸伺服機構追蹤之示

光流法應用於同步四軸伺服機構追蹤之流程圖


於演算法實現上，

同步的追蹤。原

在這過程中，影像中

此現象於上述之演算法中容易造成判斷的錯誤，進而無法穩

以下為光流法應用於同步四軸伺服機構追蹤之示

光流法應用於同步四軸伺服機構追蹤之流程圖


由上圖可知，在時間

追蹤動作。但在時間 t+1

的改變。此時，光流法便將無法辨識正確之入侵物

以下提出，以等待穩定時間改善影像錯亂之問題

流檢測法，並控制伺服平台轉動

時，由於時間 t 與 t+2背景影像變動太大

刻之輸入影像。時間 t+3

上述之問題可藉由等待伺服平台穩定後

所需之時間就大大的拉長

圖



在時間 t 時，光流法已偵測到入侵物，並且控制伺服平台進行

t+1 時，t+1 與 t 的影像因伺服平台的轉動，

光流法便將無法辨識正確之入侵物，而導致伺服平台的失控

以等待穩定時間改善影像錯亂之問題。當時間 t 時

並控制伺服平台轉動。時間 t+1 時，等待伺服平台之穩定

背景影像變動太大，所以不進行光流檢測法

t+3時，便可重新進行光流檢測法，並控制伺服平台

上述之問題可藉由等待伺服平台穩定後，在重新進行目標物之檢測與追蹤

所需之時間就大大的拉長，且無法平滑的控制伺服機構。

圖 3.11 修改後之光流檢測法之流程


並且控制伺服平台進行

，而造成大幅度

而導致伺服平台的失控。

時，依舊進行光

等待伺服平台之穩定。時間 t+2

所以不進行光流檢測法，並等待下一

並控制伺服平台。雖然

在重新進行目標物之檢測與追蹤，但其


基於上述之原由，本研究之仿生視覺即時目標追蹤

手段。而在目標模板之取樣上

背景建構需背景學習之時間

採用膚色檢測搭配人臉辨識當作進行

流程圖：

圖 3.12



本研究之仿生視覺即時目標追蹤採用模板比對

之取樣上，可採用背景建構或是膚色檢測搭配人臉辨識

背景建構需背景學習之時間，較不能即時的進行模板之取樣。所以

採用膚色檢測搭配人臉辨識當作進行人臉入侵檢測之演算法。以下為此演算法之

3.12 膚色檢測與模板比對之流程圖


比對作為實現之

可採用背景建構或是膚色檢測搭配人臉辨識。但

所以，本研究最後

以下為此演算法之



3.3 人臉與身分辨識人臉與身分辨識人臉與身分辨識人臉與身分辨識

3.3.1人臉辨識

人臉辨識之判別方法如下：

1. 機器學習

a 支持向量機

b 類神經網路

2. 幾何判斷

3. 模板與特徵擬合

本研究採用幾何判斷來判別人臉五官位置與特徵點標定。當影像經由視訊頭

擷取至電腦中，先經過影像前處理，之後將膚色區域提取，最後再進行五官辨識。

處理過程如下列所示：

1. 影像前處理

a、低通濾波

2. 膚色區域提取

a 膚色提取

b 抑制雜訊

3. 五官辨識

a 五官區塊提取

b 五官範圍修正


人臉五官辨識流程圖如下圖所示

為了能夠判別五官的組合

之膚色內的非膚色部分區塊全數標記

此便可判別此區塊組合是否為五官區塊



人臉五官辨識流程圖如下圖所示：

圖 3.13 人臉五官辨識流程圖

為了能夠判別五官的組合，我們將人臉範圍切割成上下兩部份

之膚色內的非膚色部分區塊全數標記，並且記錄每個區塊互相連接線之中點

別此區塊組合是否為五官區塊。其關係如下圖所示。

圖 3.14 人臉五官幾何關係圖


我們將人臉範圍切割成上下兩部份，上下兩部分

並且記錄每個區塊互相連接線之中點。藉


3.3.2建立三維人臉模型

人臉影像擷取後，經影像處理可獲得相關特徵點

係，便可將基礎人臉模型擬合至特徵點上

中，要以有限之點、線與面達到一定的真實性是一大考驗

candide-3[23]模型做為基礎人模

MPEG-4 為一套用於音訊與視訊之壓縮標準

電工委員會(IEC)之動態影像專家組

型如下圖所示。

圖

人臉 3D 模型建立之方法有許多種

Scanline三維重建與三維建模

網格模型。為求其模型之真實性

官特徵，並將擷取之人臉影像貼覆至模型之上

之速度，並且能以最少之面數重現人臉之特徵



經影像處理可獲得相關特徵點。利用特徵點之空間幾何關

便可將基礎人臉模型擬合至特徵點上，得到測試者的人臉模型

線與面達到一定的真實性是一大考驗。在此

模型做為基礎人模。此模型是使用 MPEG-4 之標準進行改良

為一套用於音訊與視訊之壓縮標準。此標準由國際標準化

之動態影像專家組(Moving Picture Experts Group)

圖 3.15 Candide-3基礎人臉模型

模型建立之方法有許多種。例如：三維雷射掃描、X

三維重建與三維建模軟體等等。在此研究中，我們採用預先建立之人臉

為求其模型之真實性，將模型之五官擬合至經過影像處理後之人臉五

並將擷取之人臉影像貼覆至模型之上。此方法之優點在於加快人臉重建

並且能以最少之面數重現人臉之特徵。其重建之流程如下圖所示

圖 3.16 三維人臉重建流程


利用特徵點之空間幾何關

得到測試者的人臉模型。在人臉模型

在此，我們使用了

之標準進行改良。

此標準由國際標準化(ISO)與國際

(Moving Picture Experts Group)所制定。其模

X 光三維重建、

我們採用預先建立之人臉

將模型之五官擬合至經過影像處理後之人臉五

此方法之優點在於加快人臉重建

其重建之流程如下圖所示。


一般建立三維模型需在三維空間中建立點群

模型能夠呈現在視窗之中

中，以便程式繪圖之需要。

例如：Autodesk 3ds max

為廣泛使用的是 obj檔案格式

有點、面與貼圖座標之資訊

介面之中，並彩現出來。

其中，v 代表點座標

合。



一般建立三維模型需在三維空間中建立點群、互相連結並且建立平面

模型能夠呈現在視窗之中。所以，我們需將模型之點、線與面之資料匯入程式之

以便程式繪圖之需要。三維模型檔案根據三維模型製作軟體會有不同的

sk 3ds max檔案格式為 max檔、maya檔案格式為 mb

檔案格式。檔案可由文本開啟，其資料內容依照模型之需求

面與貼圖座標之資訊。藉由這些資訊，便可將其代表之模型匯入至

。Obj 之檔案內容如下圖所示。

圖 3.17 Obj檔內容範例

代表點座標、vt 代表貼圖座標，此座標對應至點座標


相連結並且建立平面，使得

線與面之資料匯入程式之

三維模型檔案根據三維模型製作軟體會有不同的格式。

mb檔。一般最

其資料內容依照模型之需求，

便可將其代表之模型匯入至 OpenGL

此座標對應至點座標、f 代表面組



此模型之網格節點皆為臉部的定義參數。其參數定義如下表所示。

表 3.1 Condide-3特徵點設定表

FDP No. 參數名稱頂點數目

1 Head Height 16

2 Eyebrows Vertical Position 8

3 Eyes Vertical Position 36

4 Eyes Width 20

5 Eyes Height 24

6 Eye Separation Distance 36

7 Cheeks Z 2

8 Nose Z-Extension 6

9 Nose Vertical Position 17

10 Nose Pointing up 3

11 Mouth Vertical Position 21

12 Mouth Width 14

13 Eyes Vertical Difference 36

14 Chin Width 2


3.3.3人臉身分辨識

在本研究中，加速資料庫之速度為其重點之一

了模糊分類之概念，利用

度、眼睛寬度、嘴巴長度與嘴巴寬度作為人臉五官判別

在模糊理論中，模糊隸屬函數可以描述一個概念的特性

在溫度 0∘至 27∘之間舒適的隸屬程度

程度上的不同，隸屬函數便是描寫隸屬程度在溫度範圍間的一種函數

屬函數有很多種，例如：

Ʌ歸屬函數、Π2歸屬函數

函數圖型與函式如表 3.3

在分類的法則中，將上述六組模糊集合以

組合以成為模糊規則(Fuzzy Rule)

為：臉型比例與臉形橢圓

人臉五官辨識後，將獲得的特徵

為三種分別為臉型、眼型與嘴型

3.4、3.5與 3.6所示。



加速資料庫之速度為其重點之一。為達到此目的

利用六組模糊集合分別為臉形比例、臉形橢圓誤差

嘴巴長度與嘴巴寬度作為人臉五官判別與分類之依據

模糊隸屬函數可以描述一個概念的特性，例如圖

之間舒適的隸屬程度範圍在 0 與 1 之間，在此區間中

隸屬函數便是描寫隸屬程度在溫度範圍間的一種函數

：Γ歸屬函數、S 歸屬函數、Π1歸屬函數、

函數、A1歸屬函數、A2歸屬函數與單點歸屬

3.3所示。本實驗採用 Ʌ歸屬函數。

將上述六組模糊集合以 5 種不同程度分割並以兩組的方式

(Fuzzy Rule)並形成三組模糊空間(Fuzzy Space)

臉型比例與臉形橢圓誤差、眼睛長度與眼睛寬度、嘴巴長度與嘴巴寬度

將獲得的特徵輸入至模糊規則庫中加以分類。分類出的類型

眼型與嘴型，而此三種類型各分成三種特徵。

圖 3.18 模糊集合示意圖


為達到此目的，本研究採用

臉形橢圓誤差、眼睛長

之依據。

例如圖 3.18所示：

在此區間中，存在著

隸屬函數便是描寫隸屬程度在溫度範圍間的一種函數。常用的隸

、L 歸屬函數、

歸屬函數。各歸屬

種不同程度分割並以兩組的方式

(Fuzzy Space)，其分組方式

嘴巴長度與嘴巴寬度。當

分類出的類型分

。詳細設定如表



表 3.2 各類隸屬函數-1[27]

種

類函式圖型

Γ

[ ]0,1

0,

( ; , ) ,

1,

U

u

u uu

u

αα α βα β

β αβ

→

< − ≤ ≤Γ = − >

S

[ ]

2

2

0,1

0,

2 ,

( ; , , )

1 2 ,

1,

U

u

uu

S uu

u

u

α

α α βγ α

α β γγ β γ

γ αγ

→

< − < ≤ − = −− < ≤ −

>

Π1

[ ]

1

0,1

( ; , , ),( ; , , )

1 ( ; , , ),

U

S u uu

S u u

γ α β γ γα β γ

γ α β γ γ

→

− ≤∏ = − − >

L

[ ]0,1

1,

( ; , ) ,

0,

U

u

uL u u

u

ααα β α β

β αβ

→

< −= ≤ ≤ − >

Ʌ

[ ]0,1

0,

,

( ; , , )

,

1,

U

u

uu

uu

u

u

αα α β

β αα β γ

β β γγ β

γ

→

< − ≤ ≤

−Λ = − ≤ ≤

− >



表 3.3 各類隸屬函數-2[27]

種

類函式圖型

Π2

[ ]

2

0,1

0,

,

( ; , , , ) 1,

,

0,

U

u

uu

u u

uu

u

αα α β

β αα β γ δ β γ

γ γ δδ γ

δ

→

< − ≤ <

−∏ = ≤ ≤ − < ≤

− >

A1 [ ]

2

1

0,1

( ; , )u m

U

A u m e σσ− −

→

=

A2

[ ]

2 2

0,1

1( ; , )

1 ( )

U

A u mu m

γγ

→

=+ −

單

點

*1, when ( )

0,A

u uµ µ =

= else



表 3.4 臉型規則表

Ratio↓

Error→ 小較小中較大大

小長形長形長形長形長形

較小長形長形長形長形方形

中長形圓形圓形方形方形

較大圓形圓形圓形方形方形

大圓形圓形方形方形方形

表 3.5 眼型規則表

Height↓

Width→ 小較小中較大大

小小小小小小

較小小小普通小小

中普通普通普通普通普通

較大大大普通大大

大大大普通大大

表 3.6 嘴型規則表

Height↓

Width→ 小較小中較大大

小小小小小小

較小小小普通小小

中普通普通普通普通普通

較大大大普通大大

大大大普通大大


3.4 TCP/IP 區網連線區網連線區網連線區網連線

TCP/IP 為一系列網際網路基礎的網路協定

輸控制協定(Transmission Control Protocol)

TCP/IP通訊協定之原始定義中架構於硬體之上有四個分層

通訊協定中，將其分為五個階層

與實體層。其模型間之關係圖如下

圖 3.19 TCP/IP

1. TCP：

為基於位元組流的傳輸層的一種連接導向並且可靠的通訊協定

的建立中，TCP採用三路握手

握手建立連線有以下三

a 客戶端通過向伺服器端發送一個

b 伺服端接收到此封包時

給客戶端。

c 最後客戶端再發送一個

的狀態。

TCP在網際網路協定族中

關係圖如上圖所示。



區網連線區網連線區網連線區網連線

為一系列網際網路基礎的網路協定，其包含了兩種協定

(Transmission Control Protocol)與網際網路協定(Internet Protocol)

通訊協定之原始定義中架構於硬體之上有四個分層，在新一

將其分為五個階層。分別為應用層、傳輸層、網路層

其模型間之關係圖如下。

TCP/IP與 OSI(Open System Interconnection)關係圖

為基於位元組流的傳輸層的一種連接導向並且可靠的通訊協定

採用三路握手(Three-Way Handshake)過程建立連線

握手建立連線有以下三個步驟：

客戶端通過向伺服器端發送一個 SYN(synchronize／start)

伺服端接收到此封包時，回送 SYN ACK(synchronize／

。

最後客戶端再發送一個 ACK 封包完成握手程序，並進入連線建立

在網際網路協定族中(Internet protocol suite)是在網路層與應用層之間其

。


其包含了兩種協定，一種為傳

(Internet Protocol)。

在新一板的 TCP/IP

網路層、資料鏈結層

關係圖

為基於位元組流的傳輸層的一種連接導向並且可靠的通訊協定。在通路

過程建立連線。以三路

start)封包。

／acknowledge)

並進入連線建立

是在網路層與應用層之間其



2. IP：

IP 是在 TCP/IP協定中網路層的主要協議，其定義了定指方法與資料的

封裝結構，第一個架構主要板本為 IPv4(Internet Protocol version 4)。此板本

是網際網路協議開發過程中第四個修訂板本。IPv4 使用 32bit(4 個位元組)

當作位址的辨別，在 232的位址中，有預留一些位址使用在特殊用途之上，

如專用網路與多點傳輸(multicast)位址。隨著網路逐漸的發達與普及，IPv4

的 IP 位址逐漸的不敷使用，在未來中會採取 IPv6作為應對措施。一些特殊

用途之 IP 位址如下表所示：

表 3.6 特殊用途之位址

CIDR 地址塊描述 CIDR 地址塊描述

0.0.0.0/8 本網路 192.168.0.0/16 專用網路

10.0.0.0/8 專用網路 198.18.0.0/15 網路基準測試

127.0.0.0/8 環回 198.51.100.0/24 TEST-NET-2，

文檔和示例

169.254.0.0/16 鏈路本地 203.0.113.0/24 TEST-NET-3，

文檔和示例

172.16.0.0/12 專用網路 224.0.0.0/4 多播

（之前的 D 類網路）

192.0.0.0/24 保留（IANA） 240.0.0.0/4 保留

（之前的 E 類網路）

192.0.2.0/24 TEST-NET-1，

文檔和示例

255.255.255.255 廣播

192.88.99.0/24 6to4中繼



資料在網際網路中傳送時，會被封裝成封包。在 IP 協議提供了不可靠

的傳輸機制，它並不能保證資料能夠準確的傳輸，可能發生的錯誤有以下四

點：

a 資料損毀

b 遺失封包

c 資料重複

d 封包傳遞亂序

在 Internet Protocol Suite中，TCP層是位在 IP 層之上。其運作原理為應

用層將所要傳送之資料傳至 TCP層，TCP層將其資料加以分割成封包，並

將其封包交給 IP 層，利用 IP 層透過網路將封包傳送至接收端之 TCP層。

以達到可靠之傳送流程。


4.1. 介面介面介面介面設計設計設計設計

本研究採用 Borland C++ Builder 6

1. 伺服端

2. 客戶端

伺服端包含了一切本研究中所提到的演算法

場、背景建構法、人臉五官辨識

本介面可接收由客戶端輸入的雙

塊上；介面上方之人臉辨識步驟流程為人臉辨識演算法之分解步驟

辨識之觀察；OpenGL顯示視窗為顯示

數據組中之功能鈕，進行

經過動態追蹤與人臉辨識等影像處理後之結果圖

為顯示影像處理過程中所擷取之數據

另一方面，伺服馬達之控制



第四章第四章第四章第四章實驗結果實驗結果實驗結果實驗結果

Borland C++ Builder 6撰寫人機介面。其分為兩大部分

伺服端包含了一切本研究中所提到的演算法，例如：光流法、

人臉五官辨識、身分搜尋、伺服馬達控制等等…。

本介面可接收由客戶端輸入的雙攝影機影像，並且同時顯示在輸入視訊之顯示區

介面上方之人臉辨識步驟流程為人臉辨識演算法之分解步驟

顯示視窗為顯示 3D 人臉模型之視窗，可利用影像處理之

進行 3D人臉擬合之程序；影像處理結果顯示之視窗為顯示

經過動態追蹤與人臉辨識等影像處理後之結果圖：介面右下角之影像處理數據組

為顯示影像處理過程中所擷取之數據資料，可藉此觀察影像處理中過程的變化

伺服馬達之控制鈕與一些關鍵功能鈕設計於此。


分為兩大部分：

、馬爾可夫隨機

。在顯示部分，

並且同時顯示在輸入視訊之顯示區

介面上方之人臉辨識步驟流程為人臉辨識演算法之分解步驟，可進行人臉

可利用影像處理之

影像處理結果顯示之視窗為顯示

介面右下角之影像處理數據組

可藉此觀察影像處理中過程的變化。


客戶端只包含了由雙

TCP/IP功能組可輸入伺服端之

組為控制伺服端所執行之功能指令

識、三維人臉擬合等等主要功能



圖 4.1 伺服端介面

客戶端只包含了由雙攝影機輸入之影像顯示、TCP/IP功能組與功能指令組

功能組可輸入伺服端之 IP 位址進行連線並調整影像品質等級

組為控制伺服端所執行之功能指令，其指令可控制伺服端進行人臉識別

等等主要功能。其介面如下圖所示：

圖 4.2 客戶端介面


功能組與功能指令組。

進行連線並調整影像品質等級。功能指令

其指令可控制伺服端進行人臉識別、身分辨


在仿生視覺平台追蹤上

除可依照人臉辨識之結果建立人臉模

追蹤。於此介面中，可選擇使用

Pelco-D之封包格式。在

比對方式：SQDIFF、SQDIFF_NORMED

CCOEFF_NORMED。另一方面此介面還可調整

服馬達步階之 PWM 寬度與各伺服馬達

介面圖型：



在仿生視覺平台追蹤上，採用 OpenCV之模板比對。在模板比對之介面中

除可依照人臉辨識之結果建立人臉模板外，可自訂欲追蹤之模板，

可選擇使用 SSC-32 Servo Controller之封包格式或是標準

在模板比對參數中，可選擇 OpenCV中模板

SQDIFF_NORMED、CCORR、CCORR_NORMED

另一方面此介面還可調整目標追蹤之中心點判定閥值

寬度與各伺服馬達中立點微調參數等等。以下為模

圖 4.3 模板比對介面


比對之介面中，

，進行目標物之

之封包格式或是標準

板比對所提供之

CCORR_NORMED、CCOEFF、

中心點判定閥值、伺

以下為模板比對之


在伺服端中 Fuzzy身分辨識視窗中分為

數表、Fuzzy歸屬程度數據圖等等

開啟預建立之 Fuzzy資料庫

表；輸入參數表為人臉特徵之輸入介面

歸屬程度數據圖為測試者數據與

表觀察測試者之歸屬程度



身分辨識視窗中分為 Fuzzy功能組、輸入參數表

歸屬程度數據圖等等…。在本介面中，可利用 Fuzzy

資料庫，在此可建立或開啟資料庫後資料會顯示於輸出參數

輸入參數表為人臉特徵之輸入介面，一般由伺服端主程式自動輸入

歸屬程度數據圖為測試者數據與 Fuzzy資料庫比對後之歸屬程度圖

表觀察測試者之歸屬程度。

圖 4.4 Fuzzy介面


輸入參數表、輸出參

Fuzzy功能組建立或

建立或開啟資料庫後資料會顯示於輸出參數

一般由伺服端主程式自動輸入；Fuzzy

資料庫比對後之歸屬程度圖，可利用此圖


在本研究中，伺服機構是由動態人臉身分追蹤所控制

控制介面獨立控制。在伺服馬達控制中

接設備轉接至 PC端中，

圖為伺服馬達控制介面。

基本功能組提供 COM port

收數據組為顯示傳送與接收之數據

式；本介面提供兩種伺服馬達控制方式

之拉桿控制馬達位置與偏量

需控制之馬達 ID，並利用右邊之拉桿控制

態之資訊，可顯示之資訊為左右類比之

桿上任一按鈕之狀態；馬達位至與馬達偏移顯示組為顯示目前馬達位置與偏移之

設定，此顯示組只顯示 ID0



伺服機構是由動態人臉身分追蹤所控制，但也可經由伺服馬達

在伺服馬達控制中，可使用 PlayStation2之搖桿搭配

，利用類比搖桿訊號，達到平滑控制伺服馬達之需求

。

COM port的選擇並且開啟 port做為輸出前處理

為顯示傳送與接收之數據，可分別顯示二進制、十進制與

本介面提供兩種伺服馬達控制方式，一種為拉桿式控制，利用馬達選擇組旁

之拉桿控制馬達位置與偏量，另一種為搖桿控制模式；馬達選擇組可選擇目前所

並利用右邊之拉桿控制；搖桿資訊顯示組為顯示搖桿目前狀

可顯示之資訊為左右類比之 X 與 Y 軸之位置、左右類比之按鈕與搖

馬達位至與馬達偏移顯示組為顯示目前馬達位置與偏移之

ID0 至 ID4 與 ID16 至 ID20之馬達數據。

圖 4.5 伺服馬達控制介面


但也可經由伺服馬達

之搖桿搭配 USB轉

達到平滑控制伺服馬達之需求。下

做為輸出前處理；傳輸、接

十進制與 ASCII 之格

利用馬達選擇組旁

馬達選擇組可選擇目前所

搖桿資訊顯示組為顯示搖桿目前狀

左右類比之按鈕與搖

馬達位至與馬達偏移顯示組為顯示目前馬達位置與偏移之



4.2. 實驗結果實驗結果實驗結果實驗結果

4.2.1. TCP/IP區網連線

TCP/IP 區網連線測試平台是採用兩台桌上型電腦當作連線平台，其中利用

學術網路作為其連線橋樑，建立此平台之連線。此測試主要目的在於不同影像壓

縮比例下所需之上傳速度，以貼近一般使用狀況下可選擇的影像壓縮比例參數。

由於一般網路使用上，上傳速率小於下在速率，所以在此不考慮下載之流量。本

實驗之上傳流量速度監測採用 NetLimiter3進行監測。



表 4.1 影像壓縮傳輸流量表

% 壓縮前後之影像流量

10%

≒75kb/s

30%

≒100kb/s

50%

≒125kb/s

70%

≒175kb/s

90%

≒690kb/s

由上列五張不同壓縮比例之輸入、輸出及上傳監控圖顯示出影像在壓縮比例

50%以上時，其失真程度用肉眼已難以辨認。而上傳流量在壓縮比例 70%以下可

保持在 175kb左右。



4.2.2. 仿生平台之模板追蹤

模板比對：

本研究中採用 OpenCV之模板比對函式，在模板比對之定義中欲比對之模板

與輸入影像需為單通道之影像，其格式可為 8 位元無號整數或 32位元浮點數之

影像。以下為 8 位元、影像大小為95 137× 與96 137× 之比對模板：

圖 4.6 輸入欲比對之模板

(A)：右攝影機之模板 (B)：左攝影機之模板

在模板比對中，若輸入影像大小為320 240× ，欲比對之模板影像大小為

×TImage_W TImage_H ，則比對之相對結果影像大小為：

( ) ( )320 - 240 -TImage_W TImage_H× (4.1)

因此若採用上述之模板大小，則辨識結果之影像大小分別為 225 103× 與

224 103× 於OpenCV中，若採用Squared difference與Normalized squared difference

則目標於相對結果影像中為黑點。若採用其他比對法，則目標於相對結果影像中

為亮點。如圖 4.7所示。

圖 4.7 模板比對之相對結果

(A)：右攝影機之模板比對相對結果 (B)：左攝影機之模板比對相對結果



以下為模版比對之結果與模板辨識之 120筆執行時間序列。於模板比對時間

序列表中，第 2組、第 31組與第 32組時間相較於其他序列時間顯得較長的許多。

此現象可能由於測試用平台上之防毒軟體或是常駐軟體引發不可預期之程式延

遲。但由模板比對時間序列表可知：一般穩定地同時進行左右攝影機之模板比對

所需時間約在 0.037秒上下。

圖 4.8 模板比對之結果

(A)：右攝影機之模板比對結果 (B)：左攝影機之模板比對結果



表 4.2 模板比對時間序列表-1 (sec)

Format

Serial 8bit

Format

Serial 8bit

1 0.0417612417 21 0.0336507748

2 0.1291418956 22 0.0334751813

3 0.0353658664 23 0.0336200547

4 0.0332618857 24 0.0388637736

5 0.0345591136 25 0.0345905319

6 0.0336570585 26 0.0336102801

7 0.0344837096 27 0.0379767295

8 0.0340909805 28 0.0339188779

9 0.0340819041 29 0.0395165767

10 0.0375654985 30 0.0351183598

11 0.0367007963 31 0.1416938668

12 0.0362518633 32 0.1385495903

13 0.0363510056 33 0.0343660654

14 0.0334479520 34 0.0364934353

15 0.0339359834 35 0.0322100699

16 0.0358434250 36 0.0361345682

17 0.0347793910 37 0.0331491288

18 0.0336937132 38 0.0346338194

19 0.0372310678 39 0.0325399624

20 0.0348987806 40 0.0358189885




Format

Serial 8bit

Format

Serial 8bit

41 0.0340846968 61 0.0326537665

42 0.0363112090 62 0.0342777450

43 0.0360490405 63 0.0338319538

44 0.0363101617 64 0.0364504969

45 0.0316976021 65 0.0358231776

46 0.0335676908 66 0.0354915397

47 0.0319883962 67 0.0335355743

48 0.0330025100 68 0.0333819736

49 0.0331149178 69 0.0342958978

50 0.0373937450 70 0.0335582653

51 0.0361666847 71 0.0360273968

52 0.0361981030 72 0.0363991803

53 0.0370010159 73 0.0364093040

54 0.0359488510 74 0.0363262200

55 0.0371535693 75 0.0329585243

56 0.0366229486 76 0.0360406623

57 0.0424849105 77 0.0368865135

58 0.0330321828 78 0.0362857253

59 0.0334259592 79 0.0359146399

60 0.0394279072 80 0.0361171136




Format

Serial 8bit

Format

Serial 8bit

81 0.0326733157 101 0.0342728577

82 0.0335792108 102 0.0350785633

83 0.0374303997 103 0.0326391046

84 0.0321601497 104 0.0348303585

85 0.0333240242 105 0.0358350468

86 0.0324418674 106 0.0355718310

87 0.0369029209 107 0.0321451387

88 0.0359411709 108 0.0345245534

89 0.0320871894 109 0.0356158167

90 0.0340714313 110 0.0343322034

91 0.0333009841 111 0.0323755398

92 0.0351246435 112 0.0317991880

93 0.0322840775 113 0.0338033282

94 0.0340815550 114 0.0321877280

95 0.0354220703 115 0.0336273856

96 0.0368139023 116 0.0324970240

97 0.0341723191 117 0.0335104396

98 0.0353606300 118 0.0323699543

99 0.0351375599 119 0.0358915998

100 0.0379613694 120 0.0362832816

The average time of template-matching: 0.0370483284 (sec)


4.2.3. 雙攝影機仿生平台與目標追蹤之

為了解雙攝影機仿生視覺平台於物體追蹤上之物體與平台之間幾何關係

實驗採用如下圖所示之場景進行平台之伺服馬達與物體之間關係之量測

圖

圖



仿生平台與目標追蹤之關係

仿生視覺平台於物體追蹤上之物體與平台之間幾何關係

實驗採用如下圖所示之場景進行平台之伺服馬達與物體之間關係之量測

圖 4.9 仿生平台之追蹤場景設定

圖 4.10 仿生平台之追蹤場景模擬圖


仿生視覺平台於物體追蹤上之物體與平台之間幾何關係，本

實驗採用如下圖所示之場景進行平台之伺服馬達與物體之間關係之量測。



在此實驗流程中，目標物體與仿生平台距離150cm、200cm、250cm與300cm；

物體於此四種距離等級下進行左右偏移 10cm、20cm、30cm、40cm與 50cm之

兩伺服馬達 PWM 寬度量測。以下為本實驗之數據圖表：

表 4.5 目標與平台之 PWM Width關係

Distance

Scale

150cm(L) 150cm(R) 200cm(L) 200cm(R) 250cm() 250cm(R) 300cm(L) 300cm(R)

50(cm)

1702 1611 1682 1610 1650 1586

40(cm) 1708 1613 1656 1582 1651 1580 1630 1558

30(cm) 1663 1567 1637 1552 1621 1542 1606 1533

20(cm) 1624 1525 1610 1523 1594 1520 1582 1513

10(cm) 1600 1498 1583 1496 1567 1494 1559 1500

0(cm) 1550 1452 1550 1452 1550 1452 1550 1452

-10(cm) 1510 1410 1518 1436 1523 1447 1520 1454

-20(cm) 1472 1371 1496 1405 1505 1429 1505 1432

-30(cm) 1439 1334 1461 1374 1481 1404 1493 1423

-40(cm) 1402 1305 1436 1345 1452 1376 1474 1401

-50(cm)

1394 1309 1428 1349 1452 1383

圖 4.11 相距 150cm之 PWM Width關係圖

1200

1300

1400

1500

1600

1700

1800

50 40 30 20 10 0 -10 -20 -30 -40 -50

PW

M W

idth

(us)

Scale(cm)

150L

150R






1200

1300

1400

1500

1600

1700

1800

50 40 30 20 10 0 -10 -20 -30 -40 -50

PW

M W

idth

(us)

Scale(cm)

200L

200R

1200

1300

1400

1500

1600

1700

1800

50 40 30 20 10 0 -10 -20 -30 -40 -50

PW

M W

idth

(us)

Scale(cm)

250L

250R

1200

1300

1400

1500

1600

1700

1800

50 40 30 20 10 0 -10 -20 -30 -40 -50

PW

M W

idth

(us)

Scale(cm)

300L

300R



4.2.4. 雙攝影機移動物體之追蹤

本研究中之雙攝影機移動物體追蹤之目標物採用無線遙控車，利用遙控車來

模擬移動物體之移動模式。在以下實驗中，目標物一開始並不在兩攝影機之正中

央。當追蹤開始時，攝影機上之伺服馬達會開始依模板比對之結果轉動攝影機，

使攝影機之正中央對準目標物。當目標物移動時，伺服馬達會一直帶動攝影機追

蹤目標。使其系統成為一具回授特性之系統。以下為模板比對之初始狀況與追蹤

之 PWM 寬度結果：

圖 4.15 模板比對之初始狀況



圖 4.16 目標物由右至左移動

圖 4.17 目標物由左至右移動

1100

1200

1300

1400

1500

1600

1700

1800

1

21

41

61

81

10

1

12

1

14

1

16

1

18

1

20

1

22

1

24

1

26

1

28

1

30

1

32

1

34

1

36

1

38

1

40

1

42

1

44

1

46

1

48

1

50

1

PW

M W

idth

(us)

Control Serial

Left

Right

Tilt

1100

1200

1300

1400

1500

1600

1700

1800

1

21

41

61

81

10

1

12

1

14

1

16

1

18

1

20

1

22

1

24

1

26

1

28

1

30

1

32

1

34

1

36

1

38

1

40

1

42

1

44

1

46

1

48

1

50

1

PW

M W

idth

(us)

Control Serial

Left

Right

Tilt



圖 4.18 目標物往右移動後復位

1100

1200

1300

1400

1500

1600

1700

1800

1

21

41

61

81

10

1

12

1

14

1

16

1

18

1

20

1

22

1

24

1

26

1

28

1

30

1

32

1

34

1

36

1

38

1

40

1

42

1

44

1

46

1

48

1

50

1

PW

M W

idth

(us)

Control Serial

Left

Right

Tilt



4.2.5. 人臉五官辨識

本實驗採用單攝影機於同一時間中進行人臉拍攝與人臉五官判別，判別結果

直接顯示於監視畫面上，相關人臉五官數據也一併傳輸至模糊分類介面中進行分

類與判別。在模糊分類結果數據中，較大的值代表越符合相對應之類型。以下為

人臉判別之結果、數據與模糊分類之結果：

表 4.6 人臉與五官判別之結果

序列輸入影像非膚色之辨識辨識結果

1

2

3

4

5



6

7

8

表 4.7 人臉與五官判別之結果數據

序列人臉比例橢圓誤差眼寬比例眼高比例嘴寬比例嘴高比例

1 0.711 16 0.203 0.063 0.390 0.108

2 0.735 14 0.099 0.043 0.349 0.085

3 0.680 16 0.168 0.056 0.404 0.131

4 0.793 14 0.094 0.037 0.375 0.116

5 0.807 15 0.212 0.057 0.315 0.096

6 0.782 12 0.125 0.041 0.337 0.188

7 0.756 11 0.099 0.036 0.313 0.087

8 0.592 13 0.137 0.039 0.358 0.101



表 4.8 模糊分類之結果(臉型)

序列長形臉圓形臉方形臉

1 0.638 0.006 0.000

2 0.605 0.005 0.000

3 0.772 0.001 0.000

4 0.320 0.010 0.000

5 0.236 0.017 0.000

6 0.418 0.000 0.000

7 0.532 0.010 0.000

8 0.947 0.001 0.000

表 4.9 模糊分類之結果(眼型)

序列小普通大

1 0.000 0.346 0.213

2 0.309 0.041 0.000

3 0.030 0.452 0.000

4 0.000 0.184 0.000

5 0.000 0.693 0.135

6 0.119 0.107 0.000

7 0.000 0.247 0.000

8 0.008 0.225 0.000



表 4.10 模糊分類之結果(嘴型)

序列小普通大

1 0.000 0.747 0.000

2 0.000 0.482 0.000

3 0.000 0.693 0.000

4 0.000 0.528 0.000

5 0.258 0.186 0.000

6 0.002 0.212 0.000

7 0.197 0.249 0.000

8 0.008 0.414 0.000



4.2.6. 三維人臉模型之建立

本實驗利用 Candide-3基礎人臉模型與人臉辨識之結果所得到的五官位置、

大小與比例進行擬合，並以輸入之影像當作模型材質將其貼覆至模型上達到人臉

模型之建立。以下為人臉材質影像、五官辨識與 3D模型建立之結果：

圖 4.19 人臉材質影像

圖 4.20 五官辨識結果

圖 4.21 三維人臉模型之建立



4.2.7. 身份辨識

於本研究之身分辨識中，採用模糊分類技術將人臉特徵資料加以分類，提升

搜尋速度。為重現大量資料的搜尋情況，本實驗使用隨機產生之資料，並在其中

加入待搜尋之特定身份人臉資料加以測試。人臉特徵資料分為 13組不同性質之

數據，以下為隨機產生資料之格式、限制、模糊空間之分佈與模糊跟直接之搜尋

時間比較：

表 4.11 隨機資料之格式

編號內容

1 五官特徵之基本資料

2 每一組特徵之臉型分類數據

3 每一組特徵之臉型分類類別

4 每一組特徵之三臉型分類之各合適程度

5 整體資料中，臉部比例與誤差之最大與最小值

6 每一組特徵之眼型分類類別

7 每一組特徵之眼型分類數據

8 每一組特徵之三眼型分類之各適合程度

9 整體資料中，眼部寬與高比例之最大與最小值

10 每一組特徵之嘴型分類類別

11 每一組特徵之嘴型分類數據

12 每一組特徵之三嘴型分類之各適合程度

13 整體資料中，嘴部寬與高比例之最大最小值



表 4.12 隨機資料之特徵限制範圍

特徵 Min Max

人臉長寬比例 0.50 1.2

人臉之橢圓誤差 -25 50

人眼寬度 0.08 0.22

人眼高度 0.025 0.08

嘴巴寬度 0.20 0.48

嘴巴高度 0.04 0.2

圖 4.22 模糊空間之隨機分佈

0

200

400

600

800

1000

1200

1400

1600

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

數量

分組編號

25

50

75

100

200

300

400

500

600

700

800

900

1000

2000

3000

4000

5000

6000



圖 4.23 模糊與直接搜尋時間比較圖-1

圖 4.24 模糊與直接搜尋時間比較圖-2

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09時

間(S

ec)

比對數量

若待測數據落在模糊子空間之邊緣空間中

直接搜尋法

模糊搜尋法

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

時間

(Sec

)

比對數量

若待測數據落在非邊緣之模糊子空間中

直接搜尋法

模糊搜尋法



第五章第五章第五章第五章結論與未來展望結論與未來展望結論與未來展望結論與未來展望

5.1 結論結論結論結論

5.1.1. 人臉辨識

利用人臉的對稱與幾何關係，並利用膚色檢測可在待測影像中找到人臉位置。

經由實驗結果顯示：當環境採光或是攝影機內部設定穩定時，只要正面人臉進入

待測影像中時，便可順利的將其擷取出來，並且標記相關之五官位置。利用此法

追蹤人臉，較一般演算法簡單並容易實現。並且相較於自我學習之演算法，此法

並不需要自我學習的時間，可進行即時的反應與追蹤。以下為人臉五官的幾何關

係表：

表 5.1 人臉五官幾何關係

1 眉毛組合之連線中點位於人臉上半部分之最上方。

2 眼睛組合之連線中點位於人臉上半部分之最下方。

3 嘴巴組合之連線中點位於人臉下半部分之最上方。

4 眉毛與眼睛組合之兩區塊的中心點必然靠近臉形之垂直中分線。

5 眉毛與眼睛組合之兩區塊面積需相近。

6 眉毛與眼睛組合之兩區塊之間距離在人臉寬度的範圍內。

7 眉毛與眼睛組合之兩區塊之夾角也會小於一定的角度。

8 嘴巴區塊之中心點區靠近人臉垂直中分線。



5.1.2. 移動物之追蹤

在本實驗中，探討四種追蹤演算法，分別為：馬可爾夫隨機場、背景建構、

光流法與模板比對。於移動物體之追蹤實驗結果指出，若在攝影機靜止的情況下，

四種演算法都可針對影像中之移動物體進行即時的追蹤。但應用於本研究中之視

覺仿生平台上，前三種演算法就較不合適單獨使用，除非在這些演算法之外增加

額外的偵測判定以加強當背景移動或是追蹤物停止的情況下判別的強健性。

相對於前三種演算法，模板比對較適合用於移動影像中追蹤特定物體。在實

驗結果中，當比對模板確定後，便可直接對於輸入影像進行模板的比對動作。其

比對速度相對於影像的幀數(Frame Rate)高出許多。本研究採用 OpenCV中之模

板比對演算法，在輸入影像解析度為 320X240的情況下，可達到 100 frame/s的

比對速度。在 OpenCV中，提供了六種模板比對之演算法，可根據待追蹤之輸入

影像的情況，改變其演算法，達到較佳的比對效果。

在比對的結果中，雖說是採用模板比對的方式進行特定目標物的追蹤。但經

過實驗測試後發現：當待追蹤之目標物與模板有些微的角度差，還是能夠進行比

對，並得到正確的追蹤結果。但如果待追蹤之目標物大小與模板有所差距，或是

角度差太大，很容易造成判斷錯誤。因此先利用膚色檢測，找尋擬似人臉的位置，

並進行人臉辨識，當確定此區塊為人臉時，便利用模板比對的方式進行即時的追

蹤，在追蹤的過程中，也即時的更新比對之模板，達到較佳的追蹤效果。



5.1.3. 仿生平台之追蹤

利用四軸仿生平台進行目標物的追蹤來模擬人類視覺。利用此概念，可補強

以往單攝影機追蹤所無法偵測到物體的缺點。在某些追蹤目標被遮蔽的情況下，

單攝影機追蹤之架構可能無法辨別並追蹤此目標。但在雙攝影機追蹤之架構下，

其中一組攝影機，便可能辨識並追蹤此目標物。而在目標不被遮蔽的情況下，可

經由同時的辨識下，達到減少誤差的效果。一般單攝影機之架構並不能達到此效

果。

於實驗結果可看出本研究之仿生視覺平台可進行平穩辨識與追蹤之功能。另

一方面，本研究之雙攝影機仿生平台與目標追蹤之關係實驗中，可看出仿生平台

於追蹤目標物時，伺服馬達之 PWM 寬度與目標物之位置為線性關係。可藉由此

線性關係估測目標物於空間中之位置，可應用於許多之追瞄系統之中。



5.2 未來展望未來展望未來展望未來展望

人臉辨識中最重要的便是其演算法的強健性，要如何在複雜的影像中，如：

機場的人群中、大型活動場所或街頭等等去進行人臉辨識，並且有一定的準確率。

而在仿生視覺平台上，其反應時間與運轉速度也是此計畫上重要的一環。因此我

們未來希望能夠針對以下幾點繼續鑽研與探討：

1. 是否能使用不同或是混合其他演算法進行人臉辨識以達到更佳的辨識率與

準確率？

2. 減少移動物追蹤與人臉辨識給整體系統的負擔，以加強整體系統運作上之流

暢性與速率。利用此優勢強化即時追蹤與辨識的效果。

3. 建立真實人臉特徵之資料庫，以模擬真實社會之需求。

4. 由於目前此仿生視覺平台並未搭載自動變焦系統，當自動變焦系統應用於此

平台上後，是否有更好到執行效果？

5. 化簡仿生視覺平台，使其微小化，在未來中能夠於人形機器人上搭載。



參考文獻參考文獻參考文獻參考文獻

[1] Moritz Störring, Hans J. Andersen, Erik Granum, “Skin color detection under

changing lighting condition”, Proceedings of the seventh symposium on

intelligent robotics systems, pp.187-195, 1999.

[2] Maricor Soriano, Brigitta Martinkauppi, Sami Huovinen, Mika Laaksonen,

“Using the skin locus to cope with changing illumination conditions in

color-based face tracking”, Proceedings of IEEE nordic signal processing

symposium, pp.383-386, 2000.

[3] El-Khamy, Abdel-Alim, Saii, “Neural network face recognition using statistical

feature extraction”, Seventeenth national radio science conference,

pp.C31/1-C31/8, 2000.

[4] Y-QiongXu, Bi-Cheng Li, Bo Wang, “Face detection and recognition using

neural network and hidden Markov models”, IEEE Int. Conf. Neural networks &

signal processing, Vol.1, pp.228-231, 2003.

[5] Rik Fransens, Jan De Prins, Luc Van Gool, “SVM-based nonparametric

discriminant analysis, an application to face detection”, Proceedings ninth IEEE

international conference on computer vision, pp.13-16, 2003.

[6] 林榮城，自動化人臉偵測與特徵擷取系統，中原大學資訊工程學系碩士論文，

2006。

[7] Jie Yan, “Ensemble SVM regression based multi-view face detection system”,

Machine learning for signal processing XVII, pp.163-169, 2007.

[8] 李亭緯，利用人臉五官為特徵之人臉辨識，國立中央大學資訊工程研究所碩

士論文，2008。

[9] 蔡吉勝、黃胤人，“2008 人臉偵測系統之研究”，彰雲嘉大學校院聯盟學術

研討會論文集，234頁～240頁，2008。



[10] 吳曜廷，應用模糊分類技術於人臉辨識與命格分析，逢甲大學自動控制工程

學系碩士論文，2010。

[11] Jae-Woong Yi, Tae Seok Yang, Jun-Ho Oh, “Estimation of depth and 3D motion

parameters of moving objects with multiple stereo images by using Kalman

filter”, Proceedings of IEEE IECON 21st international conference, Vol.2,

pp.1225-1230, 1995.

[12] Jaemin Kim, John W. Woods. “3-D Kalman filter for image motion estimation”,

IEEE transactions on image processing, Vol.7, No.1, pp.42-52, 1998.

[13] Michael E. Farmer, Rein-Lien Hsu, Anil K. Jain, “Interacting multiple model

(IMM) Kalman filters for robust high speed human motion tracking”,

Proceedings of 16th international conference on pattern recognition, Vol.2,

pp.20-23, 2022.

[14] Christophe Dumontier, Franck Luthon, Jean-Pierre Charras, “Real-time DSP

implementation for MRF-based video motion detection”, IEEE transactions on

image processing, Vol.8, No.10, pp.1341-1347, 1999.

[15] Ismail Haritaoglu, David Harwood, Larry S. Davis, “W4:Real-time surveillance

of people and their activities”, IEEE transactions on pattern analysis and

machine intelligence, Vol.22, pp.809-830, 2000.

[16] 何信瑩，營區安全管理暨智慧型監控系統之整合，逢甲大學資訊工程學系碩

士論文，2003。

[17] SSC-32 Servo Controller:

http://www.lynxmotion.com/p-395-ssc-32-servo-controller.aspx

[18] Jang Kyu Kim, Min Cheol Lee, Cheol Ki Ahn, Chi Yen Kim, “Acquisition of

3-D information using stereo vision system by relative stereo disparity with

subpixel resolution”, 2001 IEEE international symposium on industrial

electronics proceedings, Vol.3, pp.1671-1676, 2001.



[19] 王允上，機器人單晶片微電腦控制，全華圖書股份有限公司，2010。

[20] Stuart Geman and Donald Geman, “Stochastic relaxation, Gibbs distributions,

and the Bayesian restoration of images”, IEEE trans. Pattern anal. Machine

intell., Vol. PAMI-6, pp. 721-741, 1984.

[21] 丁士翔，以時空域為基礎之移動物體追尋，國立中山大學機械與機電工程學

系碩士論文，2008。

[22] Berthold K.P. Horn, Brian G. Schunck, “Determining Optical Flow”, Artificial

intelligence, Vol.17, pp.185-203, 1981.

[23] CANDIDE - a parameterized face :

http://www.icg.isy.liu.se/candide/main.html

[24] 黃俊堯，WINSOCK 網路程式設計之鑰，資訊人文化事業有限公司，1996。

[25] 章毓晉，圖像工程，清華大學出版社，2006。

[26] 陸其明， DIRECTSHOW 開發指南，清華大學出版社，2007。

[27] 林俊良，智慧型控制分析與設計，全華圖書股份有限公司，2008。

[28] 黃文吉， C++Builder 與影像處理，儒林圖書有限公司，2009。

仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

Documents

Transcript of 仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

仿生視覺目標動態追蹤與3D人臉即時 辨認系統之設計與實現

Documents

Transcript of 仿生視覺目標動態追蹤與3D人臉即時 辨認系統之設計與實現

仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

Transcript of 仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現