使用 Kinect...

58
i 使用 Kinect 控制器的手勢辨識與動作追蹤研究 學生: 蔡容曜、鄭詠彰 指導教授: 陳耀添教授 元培科技大學資訊工程系學士班專題 摘要 隨著體感式互動技術的日新月異,姿態與影像辨識技術已被廣泛地運用於日常生 活中,本專題使用微軟所推出的 Kinect 感應器作為輸入設備,探討藉由手勢辨 識操控介面於數位多媒體之互動效果,並透過影像辨識技術,追蹤身體動作和姿 態變化等。 關鍵字: Kinect、體感式互動技術、影像辨識、手勢辨識

Transcript of 使用 Kinect...

i

使用 Kinect控制器的手勢辨識與動作追蹤研究

學生: 蔡容曜、鄭詠彰

指導教授: 陳耀添教授

元培科技大學資訊工程系學士班專題

摘要

隨著體感式互動技術的日新月異,姿態與影像辨識技術已被廣泛地運用於日常生

活中,本專題使用微軟所推出的 Kinect 感應器作為輸入設備,探討藉由手勢辨

識操控介面於數位多媒體之互動效果,並透過影像辨識技術,追蹤身體動作和姿

態變化等。

關鍵字: Kinect、體感式互動技術、影像辨識、手勢辨識

ii

Studies of gesture recognition and motion tracking using Kinect

Student: CAI, RONG-YAO ZHENG, YONG-ZHANG

Advisor: Dr. CHEN, YAO-TIEN

Department of Computer Science and Information

Engineering

Yuanpei University

ABSTRACT

With rapid advancement of somatosensory interactive development, gesture and

image recognition technologies have widely been used in daily life. In the project, we

use Microsoft Kinect as an input to explore interactive effects, and manipulate

multimedia applications by hand gesture recognition. Moreover, by adopting image

recognition function, the body movement and posture change can be tracked.

Keywords:Kinect, somatosensory interactive, gesture and image recognition

iii

致謝

在這段畢業專題期間,因為是第一次需要發揮自己的能力來做出一個屬於自

己這幾年來所學習的成果,反而對於自己和其他組員有所設限,幸好老師對於我

們細心的指導,而碰到困難的時候不厭其煩地為我們解惑,在我們沒有注意到的

地方指點出來並提出寶貴的意見做出較好的修改,進而讓這次的畢業專題得以順

利結案。

在這邊特別感謝陳耀添教授對於我們這些懵懂的學生用無比的耐心和愛心

來教導就算再怎麼忙都會抽空關心我們的進度和困難的地方都會指出我們該怎

麼解決。

再來謝謝所有組員們幫忙分攤許多專題的問題讓我們這組的困難處減少許

多,也讓專題進度加快不少。

此外也謝謝其他的老師、同學們因為只靠我們是無法完成的因為有你們無私的幫

助,讓我們這過程少了許多的阻礙不用到處碰撞的去摸索。特別的感謝幫助過我

們的每一位老師、同學。

iv

目錄

目錄 .............................................................................................................................. IV

一、緒論 ......................................................................................................................... 1

1.1前言........................................................................................................................ 1

1.2研究背景與動機 ................................................................................................... 2

1.3研究方法 ............................................................................................................... 3

1.4報告架構 ............................................................................................................... 3

二、背景知識 ................................................................................................................. 4

2.1發展歷史 ............................................................................................................... 4

2.2 KINECT 辨識原理 ................................................................................................ 4

2.2.1 KINECT 原理 ................................................................................................. 5

2.3 KINECT組成元件介紹 .......................................................................................... 8

2.3.1相關產品的比較 .............................................................................................. 11

三、文獻探討 ............................................................................................................... 14

3.1利用 KINECT 做室內跌倒事件之偵測 .............................................................. 14

3.2以虛擬實境為基礎的前庭暈眩復健系統和復健成效分析與研究 ................. 16

3.3使用 KINECT開發復健醫療遊戲系統之研究 ................................................... 20

3.4 KINECT HUB: KINECT體驗大本營 ...................................................................... 21

四、實驗結果與分析 ................................................................................................... 24

4.1 系統架構 ............................................................................................................. 24

4.2 手勢辨識 ............................................................................................................. 25

4.3影像擷取 ............................................................................................................. 29

4.4 深度影像 ............................................................................................................. 31

v

4.5游標移動角度調整和關閉深度影像和彩色影像 ............................................. 32

第五章研究方法 ........................................................................................................... 35

5.1 研究架構 ............................................................................................................. 35

第六章結論 ................................................................................................................... 36

參考文獻 ....................................................................................................................... 37

附錄(一)甘特圖............................................................................................................ 39

附錄(二)工作進度表 ................................................................................................... 40

自傳 .............................................................................................................................. 48

Q&A ............................................................................................................................. 49

vi

表目錄

表 1 KINECT規格 .......................................................................................................... 10

表 2 KINECT和WII比較 .............................................................................................. 11

表 3 KINECT與 PS3 週邊設備之比較表 ...................................................................... 13

表 4甘特圖 ................................................................................................................... 39

vii

圖目錄

圖 1 KINECT 手勢操作說明 3D 模型 ............................................................................ 5

圖 2尋找移動部件 ......................................................................................................... 5

圖 3測試 EXEMPLAR ...................................................................................................... 6

圖 4模型匹配:生成骨架系統 ..................................................................................... 7

圖 5 KINECT組成元件架構圖 ........................................................................................ 8

圖 6 KINECT架構 ............................................................................................................ 9

圖 7節點示意圖與節點座標資料 ............................................................................... 14

圖 8坐下節點變化 ....................................................................................................... 15

圖 9頭部節點變化圖 ................................................................................................... 15

圖 10眼動任務 MEASUREMENTS .................................................................................. 16

圖 11頭動任務 MEASUREMENTS ................................................................................. 17

圖 12肢體伸展任務 MEASUREMENTS ......................................................................... 18

圖 13 KINECT HUB主畫面 ............................................................................................ 21

圖 14 KINECT HUB 滑鼠游標變化圖(一) .................................................................... 21

圖 15 KINECT HUB 滑鼠游標變化圖(二) .................................................................... 22

圖 16 KINECT HUB 滑鼠游標變化圖(三) .................................................................... 22

圖 17 KINECT HUB動作(一) ......................................................................................... 23

圖 18 KINECT HUB動作(二) ......................................................................................... 23

圖 19系統示意圖 ......................................................................................................... 24

圖 20右手揮動(一) ...................................................................................................... 25

圖 21右手揮動(二) ...................................................................................................... 25

圖 22左手揮動(一) ...................................................................................................... 26

圖 23左手揮動(二) ...................................................................................................... 26

圖 24右手舉高(一) ...................................................................................................... 26

圖 25右手舉高(二) ...................................................................................................... 27

圖 26左手舉高(一) ...................................................................................................... 27

圖 27左手舉高(二) ...................................................................................................... 27

圖 28彩色影像擷取(一) .............................................................................................. 29

圖 29彩色影像擷取(二) .............................................................................................. 29

圖 30彩色影像擷取(三) .............................................................................................. 30

圖 31深度影像 ............................................................................................................. 31

圖 32設定(一)............................................................................................................... 32

圖 33設定(二)............................................................................................................... 33

圖 34設定(三)............................................................................................................... 33

viii

圖 35設定(四)............................................................................................................... 34

圖 36研究架構流程圖 ................................................................................................. 35

1

一、緒論

1.1 前言

科技發展的成果已經融入了日常生活中,但現在許多科技產品所發展出來的

成果目的卻是相當單一的,雖然說單一成果並無不好,如果說人們有一個目的的

時候,例如用電腦看電視就需要不只一、二個軟體或設備,這樣所需要耗費的時

間和金錢會比較多,而 Kinect 或許能有所改變。因為它的面前它知道你是誰,不

僅如此,它還可以將你與另一個個體區別出來,當你移動的時候它可以將你的動

作瞬間捕捉,而當你想要互動的時候用語音和肢體動作就可以做出和滑鼠或者鍵

盤需要的功能(如:看影片、聊天、遊戲等等)。使用者們把對於接觸 Kinect 所認識

的深淺的結果,讓原本只是偏向遊戲的這種技術發展出不一樣的道路,而這種方

法全靠使用者和軟體開發者們的想像和創造力。

虛擬實境、體感互動是近年來一項重要的科技[1][2]。虛擬實境(Virtual Reality)

電腦產生一個三度空間的虛擬世界,給予使用者關於視覺、聽覺、觸覺等的模擬,

讓使用者如同身歷其境一般,可以及時、無限制探索三度空間內的事物。使用者

進行位移時,電腦立即進行複雜的運算,將 3D 影像傳回產生臨場感。該技術包

含計算機圖形(CG)技術、計算機模擬技術、人工智慧、感測技術、顯示技術、

網路並行處理等技術的發展成果,是一種由計算機技術輔助生成的高技術模擬統。

體感,或稱軀體感覺,是觸覺、痛覺和其他身體的感覺(關於肌肉和關節位置和

運動、軀體姿勢和運動以及面部表情的感覺)的總稱。

上述背景中因為這些技術的進步所以發展出來的成果就代表一次科技的躍

進,而 Kinect 是其中之一,微軟(Microsoft Corporation)於 E3 遊戲展中公佈名為

「Project Natal」(誕生計畫)的感應器,它能夠捕捉使用者的肢體動作,或是

進行臉部辨識。感應器也內建麥克風,可以用來識別語音指令,而 Kinect衍生出

來的影響對於不擅長操控機器的人來說可以更加嫻熟的使用並且讓這個領域的

人更能大展拳腳發展更多當初設計者所沒有想到的作品。

2

1.2 研究背景與動機

"科技發展都是為了讓人們生活更便利,不管發展了甚麼文化文明和科技都

是為了人們而誕生",近幾年來虛擬實境相關產品相當熱門,在 XBOX360 的

Kinect 裝置來說,它所具有三個鏡頭捕捉影像色彩、3D 深度影像,還有陣列是

麥克風捕捉聲音再加上它主要是運用在遊戲上,所以價錢將會比同等級的硬體偵

測裝置低廉,在做研究動作辨識的門檻將大幅的降低。而我們這次所使用的

KINECT FOR WINDOWS 也繼承 XBOX360 的優點,而 Kinect 目前最顯著的優

點是 Kinect 來進行人體的感應骨架、深度,再依據骨架變化來判斷人體動作的幅

度。此外還可以依照手指的姿勢來進行手勢的偵測,藉以達到更細微的判斷,再

依照手的深度值改變的判斷做出相應的反應。

Kinect 就是其中一個,他所提供讓人們感覺虛擬畫面有如親身體驗的方法,

而它所運用的是人類的肢體動作,人類的肢體具有千變萬化的動作,而人類對於

手部動作的純熟運用是讓人類成為地球主宰的原因之一,而目前市上許多的產品

發展都與手有著密不可分的關係,像是觸控、按鍵、感應…等等都是對於手部動

作有所應用所發展的技術。

3

1.3 研究方法

和以前比較常見的 XBOX360 用的 Kinect 相比 Windows 版的所用是由微軟

提供的 Kinect for Windows SDK 和 C#程式碼編譯,相比較雖然 XBOX360 所使

用的軟體相對選擇比較多但是 Windows 版本讓我們在選取應用軟體上比較便

捷。

硬體我們所用的是學校所提供的電腦加上我們專題需求所選購的 Kinect。

1.4 報告架構

本篇主要分為五個章節:

第一章緒論: 此章節分成兩個部分,第一個部分研究動機,主要是描述目前

熱門的 Kinect 的許多應用,再來以目前我們所學的加上網路上所能提供的資源和

硬體來做出一些有趣的功能。

第二章背景知識: 此章節主要分為兩個部分,第一個部分背景知識,簡單介

紹 Kinect 相關的發展過程,第二部分為 Kinect 原理,主要介紹 Kinect 這項技術

的核心原理。

第三章文獻探討:此章節主要是簡介其他相關應用者的文獻。

第四章實驗結果與分析:本章節主要介紹我們實體的操作和成果發表及相關

的數據資料。

對於成果的功能個別說明,並且做出執行動作。

第五章研究架構: 本章節則是提到研究結果和結論把成果與預期發展做個相

關計畫的改進。

第六章結論:此章節把我們成果和研究數據以及相關文獻做個總結。

4

二、背景知識

把生活中的一些虛擬的事物,更加靠近你的生活,體感技術是目前非常風行

的科技技術,而我們所研究的 Kinect 是人體動作辨識和追蹤。以往過去的技術只

能做到辨識四肢和頭的動作,現在的技術已經發展到可以辨識手部動作和追蹤,

而且連辨識手指細微的動作差別和動作。

2.1 發展歷史

Kinect[3]為動力學(kinetics)和連接(connection)所創新的詞彙。Kinect,由微軟

開發,原本是應用於 Xbox 360 主機的周邊設備,現在也開發出 Windows 系統的

Kinect版本。

2.2 KINECT 辨識原理

YOU ARE THE CONTROLLER[4]這是微軟Kinect的一句廣告詞,這麼有魄力

的廣告詞讓我們更好奇到底是甚麼樣的原理讓它打出這樣的旗號來吸引觀眾呢。

而在官網上面可以知道微軟Microsoft開始即打算研發出一種介面能夠使人機介

面簡單並且依此介面設計出一系列有趣遊戲。之前在Kinect 尚未推出之際,另一

家遊戲機大廠任天堂推出Wii即推出新型態人機介面的創新,也就是無線遊戲手

把加旋轉鈕讓使用者藉由移動身體與遊戲主機有了互動使得人們有全新的感受

玩電視遊戲,進而取代了傳統的遊戲機種介面搖桿與遊戲機手把及按鈕造成一股

新風潮。甚至創造出新的市場,使得原本不玩較為複雜遊戲控制介面的人們因為

此遊戲介面,也開始接觸這類的遊戲。市場證明此概念創新的遊戲機種介面市場

潛力無窮。也因此任天堂在競爭激烈的遊戲機市場獲得豐厚的利潤,也在那時展

現創新的遊戲機種介面價值使其一覽無疑。

5

2.2.1 KINECT 原理

圖 1 Kinect 手勢操作說明 3D 模型

Kinect第一個要介紹的應用原理是骨架追蹤,而骨架追蹤的核心是無論周遭

環境光源如何都可以感知世界的 CMOS 紅外傳感器,該紅傳感器運用黑色和白

色光源來感知周遭環境:黑色代表距離無限遙遠,白色代表無窮接近,而 2 個光

線來源的地方所對應到的物體到感應器的距離。

並且收集所能偵測範圍的各個點位,並形成一幅代表周圍環境的景深圖像。感應

器以每秒 30FPS(幀數)形成景深圖像並以 3D 形式的再現周遭環境。

圖 2尋找移動部件

6

Kinect 下一個應用原理是追蹤移動部位,Kinect 會對景深圖進行像素評估,

來辨識人體的部位,這個過程必須以一個優化處理1來所短響應時間,Kinect 採

用分割方式將人體與環境區隔出來,即從雜訊中挑選出有用的訊息。

接下來的部分,Kinect 把分割過的使用者圖像的所有像素輸入進去一個辨識

人體部位的機器系統中。之後這個系統會選取出某個特定像素屬於人體某個部位

的可能性,舉例來說某個像素 80%屬於腳,60%是腿,40%是胸。這時候就把可

能性最高的當作結果,不過這種處理方式有點太過牽強,所以 Kinect 的做法是把

所有的可能性都輸入到接下來的流程處裡,並等到最後階段才做出判斷。最後一

步處理的流程中是使用之前輸出的結果,根據所捕捉到的關節點來形成骨架統,

並且評估範例輸出的每一個可能的像素來確定關節點。

這種方式能讓 Kinect 有充分的訊息評估身體部位所處的位置。看完上面的介

紹,這邊我們會疑惑該如何教會 Kinect 辨識人體部位。開發這一人工智能(被稱

為 Exemplar(模型)系統)數以 TB 計的數據被輸入到集群系統中來教會 Kinect

以像素級技術來辨認手、腳以及它看到的其他身體部位。下圖就是開發者用來訓

練和測試 Exemplar 的數據之一。

圖 3測試 Exemplar

1優化處理[5]

將化學物質被覆(Coating)在寶石上使此具強色散性化學物質發出不同顏色光澤。

在電腦方面,更改電腦中的一些基本設定,改增加電腦的速度,畫質等等,讓程式在運作時,更安穩快

速。

7

在模型匹配2:生成骨架系統階段根據追蹤到的 20 個關節點來生成一幅骨架

系統。Kinect 會評估 Exemplar 輸出的每一個可能的像素來確定關節點。通過這

種方式 Kinect 能夠基於充分的信息最準確地評估人體實際所處位置。

圖 4模型匹配:生成骨架系統

另外我們在模型匹配階段還做了一些附加輸出濾鏡來平滑輸出以及處理閉

塞關節等特殊事件。骨架追蹤系統的目標之一是為處理流程的各種輸出提供一種

菜單式的選擇界面。遊戲開發者可以選擇任意的系統部件組合來開發各種遊戲體

驗。

2模型匹配[6]

模型匹配(Prototype Matching)是指用參考模型的輸出輸入的匹配結果,為實際控制系統設計一個補

償原,實質上就是強制的模型跟蹤問題。

8

2.3 Kinect 組成元件介紹

圖 5 Kinect 組成元件架構圖[7]

標示為 1 的區域為 Kinect 硬體,透過 USB 與 PC 連結。

標示為 2 的區域為驅動程式部分。

標示為 3 的區域為高階的 NUI Library。

標示為 4 的部分,DMO 為 DirectX 既有的組成分子,被 Kinect 拿來作為接

收聲音訊號與分析聲音來源之用。

Windows 7 內建 DirectX,因此 DMO 本身就存在於我們的機器之中,並非 Kinect

SDK 所安裝。

標示為 5 的部分為標準的 Windows 7 API,用來處理聲音,語音等多媒體相

關的應用,本身就內建於 Windows 7 之中,並非 Kinect SDK 所安裝。

API 說明可以在 Windows SDK 與 Microsoft Speech SDK 之中找到。

9

圖 6 KINECT 架構[8]

Kinect可以取得下列三種資訊

1. 色彩影像(位於中間的鏡頭)

2. 3D 深度影像(位於左右 2 邊的鏡頭)

紅外線發射器和紅外線 CMOS3攝影機

3. 聲音(透過陣列式麥克風)

Kinect 主要就是靠 3D 深度感應器偵測玩家的動作。中間鏡頭則是用來辨識

玩家身分(靠著人臉辨識和身體特徵)、以及辨識基本的臉部表情,此外也能應

用在擴增實境遊戲、以及視訊通話時,同時 Kinect 還搭配了追蹤焦點技術,底座

馬達會隨著對焦物體移動跟著轉動。都用上了不用遙控器的體感裝置,因此

Kinect也內建了麥克風系統,用的還是陣列式麥克風。它的好處是藉由多組麥克

風同時收音,比對後消除掉雜音,等於提供了降低噪音功能,讓玩家的聲音能更

清楚地傳遞出去。

3 CMOS[9]

紅外線感測器感測原理主要分為量子型(Quantum)與熱型(Thermal)。早期使用光電原理為感測機制的量子

型紅外線感測器,雖然有高靈敏度的優點,但因為價格昂貴且需額外的冷卻系統以維持系統運作正常,

主要應用在軍事領域或航太的夜間辨識,且此類感測器亦有使用壽命不長的問題。

10

表 1 KINECT 規格

顏色深度 1.2~3.6m

骨架追蹤 1.2~3.6m

視野角度 水平 57 度、垂直 43 度

底座馬達

旋轉

上下各 28度

每秒畫格 30FPS4

深度解析

QVGA(320*240)5

顏色解析

VGA(640*480)6

聲音格式 16KHZ, 16 位元 mono pulse code modulation(PCM)7

聲音輸入 四麥克風陣列、24位元類比數位轉換(ADC)8、雜音消除

4FPS[10]

這邊所表示的為每秒顯示幀數 -幀率測量單位(frames per second)。

5QVGA[11]

即 VGA的四分之一尺寸。

6VGA[12]

用於指稱 640*480 的解析度。

7PCM[13]

脈衝編碼調變(Pulse-code modulation,PCM)是一種類比訊號的數位化方法。

8ADC[14]

類比數位轉換器(英語:Analog-to-digital converter, ADC, A/D or A to D)是用於將類比形式的連續

訊號轉換為數位形式的離散訊號的一類設備。

11

2.3.1 相關產品的比較

Kinect與 Wii9比較

兩者最大的差別在於 Kinect不需要使用搖桿,透過 Kinect 所發出的光點去偵

測 USER 的動作,因此不能偷懶只拿搖桿在遠方搖晃,而兩者主要都是應用於體

感遊戲,如果只是單純的看遊戲,Wii的遊戲比較屬於家庭遊戲類的而 Kinect 主

要搭配的 XBOX360 所推出的遊戲就比較需要技術了,由於 Kinect 並無使用搖桿

所以感應會比 Wii 差,而且使用的地點要相對比較大,而且因為沒有搖桿所以使

用上更有臨場感,再者畫質方面,Kinect 就好許多了而且 XBOX360 還可以接

HDMI線來提高畫質讓畫質更細膩。

Wii 所使用的是 Wii Remote,與 Kinect 類似攝影機的裝置不同,Wii Remote

是以類似遙控器的感應棒形式來進行操作。Wii Remote 具有體感操作的功能,能

夠藉由感應棒的旋轉、移動以及上方的按鈕來進行操作。而 Kinect 則是紅外線與

影像來辨別人體的形狀、位置。

表 2 KINECT 和 WII 比較

攝影機 搭配裝置 價錢 骨架辨識

Kinect IR Camera 否 較高 有

Wii IR Camera Wii Fit 較低 無

接下來是軟體的比較,Wii 的軟體可以透過感應棒來進行操作。拿運動類的

遊戲軟體來說,透過轉動感應器上的旋轉鈕並同時揮動感應手部動作,可以控制

手部的形式與力道,或是按下感應器上的按鈕並同時揮動或轉動感應棒,則可以

進行投射或打擊的動作類型。而我們可以利用 Kinect 來進行人體的偵測骨架、深

9Wii[15]

Wii 是任天堂公司所推出的家用遊戲主機

12

度值,再依據骨架變化的資訊來判斷人體動作的幅度。此外還可以依照手指的姿

勢來進行手勢的偵測,藉以達到更細微的判斷,再依照手的深度值改變的判斷。

Kinect與 PS310比較

PS3 所使用的是 PS3 的 PlayStation® Move,並搭配 PlayStation® Eye 來進行

動作的辨識。與 Kinect 不同的是,除了透過 PlayStation® Eye 來偵測使用者三維

空間位置外,還要透過使用者手上所拿的 PlayStation® Move 動態感應器與巡覽

控制器來辨識手部的動作、空間的深度。而 Kinect 則可以在不用其他設備的支援

下,去抓取使用者全身的形狀、骨架、深度、動作以及其身處的三維空間位置。

10PlayStation 3[16]

PlayStation 3,是索尼電腦娛樂所開發的家用遊戲機,。

13

表 3 KINECT 與 PS3 週邊設備之比較表

攝影機 價錢 距離偵測 骨架辨識

Kinect 彩色和

紅外線

紅外線 有

PS Eye 彩色 低 影像中圓球

大小決定

PS Move 無 低 同上 無

在軟體的操作方面,PS3 的 PlayStation® Move 不需要通過姿勢校正這一項動

作即可在軟體的選單畫面時就能操作,而 Kinect 則需要進入遊戲後才能進行操作。

雖然不需要姿勢的校正,但是仍需要對 PlayStation® Eye 進行校準。在遊戲的進

行方面,PS3 能靠著單一的動態感應器或是搭配巡覽控制器來達成擊球,射箭、

持盾與劍的使用動作。

Kinect 與其他平台差異,因為 Kinect 有紅外線深度偵測與骨架辨識的應用,

在做人體動作辨識上具有相當高的可行性。我們目前已經實作了手部動作偵測與

骨架辨識,而現在我們所做的是手部偵測然後於主畫面反映出所應對的動作。

14

三、文獻探討

本章節將探討一些對於 Kinect 的相關應用的論文,由於體感科技的相關應用

實在太多,所以這個章節所探討的相關論文我所選擇的是與本校比較有關係的醫

療應用方面的論文來做探討。

3.1 利用 Kinect 做室內跌倒事件之偵測

劉星宏[17]用 Kinect 做出一套視覺為基礎的跌倒偵測系統。參考 Viterbi 演

算法以計算影像相關資料來判斷人們日常的行為,並進行跌倒偵測,藉由紀錄人

們的骨架相關資料,可以紀錄成為各總姿勢的資料庫,藉以作為跌倒偵測依據。

圖 9節點示意圖與節點座標資料

15

圖 10坐下節點變化

根據上圖可以了解人體動作的變化,接著他觀察了頭部節點的變化,並且設

定了座標為。

圖 11頭部節點變化圖

從上圖可以知道只要有微小的動作就算看不太出來但是機器卻能辨識出位

置已經該變了。

在於實用度來說,這個研究可能對於一般人並不起眼,但是對於讓機器判別

是否人們有出現跌倒這個動作卻能更加的精確。

16

3.2 以虛擬實境為基礎的前庭暈眩復健系統和復健成效分

析與研究

洪彥伯[18]了 Cawthorne-Cooksey11前庭復健訓練與虛擬實境技術,協助病人

進行眩暈復健,並於臨床量測患者重心偏移分佈之歷時資料,建立復健資料庫,

可在每階段的復健中評量患者的自我表現,建立眩暈病人雙足平衡以及眩暈模式,

以進行眩暈初期偵測及警示。他們提出 3D 虛擬實境輔助患有前庭功能暈眩障礙

病患復健。患有慢性前庭功能障礙的人可以透過平衡治療而逐漸康復。

這邊作者根據 Cawthorne-Cooksey 慢性前庭功能障礙(chronic dysfunction)且

可施予平衡復健治療(balance rehabilitation)的成年病人。並由自願者來做實驗年

齡落在 18~86 間,藉由一些遊戲來測試下列數據成果。

圖 12 眼動任務 measurements

11Cawthorne-Cooksey( 卡松-庫克西)[19]

在 1940年代,一位英國耳鼻喉科醫師 Dr. Cawthorne 發現許多暈眩病患在快速的搖晃頭部後,反而不暈

了。他當時就和另一位物理治療師 Cooksey共同發展出一套治療運動。此二人可謂前庭系統復健的鼻祖。

到了 1980年代中期,醫界開始投入大量的資源來研究這種當時所謂的另類療法,許多文獻爭相出版。其

中 Dr. Herdman 更將所有的理論及研究結果編輯成冊,前庭復健,從此才正式登入復健界的殿堂。

17

這邊作者藉由遊戲可看出眼動任務整體進步的趨勢和最低分者進步的成效,

此任務中的變異因子有「眼球轉動對暈眩的影響」和「坐姿產生的穩定性」,由

於坐著時身體的重心較為集中,認為暈眩發生時可以較快速的穩定情況繼續作

答。

上圖顯示25百分數和平均數(25 percentage),結果來看session2到session6是有

改善的,而在session 3到session 5之間維持穩定。75百分數的病患從session 3開始

即維持穩定,表示前25%的病患在第三次復健後,因眼球轉動產生的暈眩機率已

經降低,或是對暈眩抵抗能力(暈眩抗性)的增加使病患可以穩定的進行答題。進

一步觀察session2和session 6之分數,32位病患中的28位病患其分數提升,進步之

病人的比率為28/32 = 87.50%,平均改善程度為12.17%,而最低分者從20分進步

到68分,進步幅度為88.89%。

圖 13 頭動任務 measurements

上圖顯示了病患在頭動任務中的平均表現。頭部的轉動會帶動耳內耳石移動,

進而增加暈眩的機率,此外頭部若置於特殊的位置也會引發暈眩。此任務中的變

異因子有「眼球轉動對暈眩的影響」、「頭部轉動對暈眩的影響」和「坐姿產生

的穩定性」。

結果分析,前75百分數的得分情況,從session 2開始就沒有明顯進步或衰退

的現象( p = 0.19 ),表示該群體在暈眩抗性上具有穩定的成效,但也表示沒有明

顯的進步,分數表現上也沒有與眼動任務相當。

18

而 25百分數的得分並非穩定成長,在 session 3 到 session 5 之間有些微退步

的情況,分數也較眼動任務的同群組低分。與前一任務互相推論,增加的「頭部

轉動」因子會影響病況不佳患者的作答情況,但從得分顯示第二次全體平均為

75.45,而第 6 次全體平均為 82.51,仍然有 8.6%的改善幅度。此群體進行第 6

次治療的結果已經較第 2 次到第 4 次的結果良好,但比起眼動任務在 session 3

即看出成效,可推論轉動頭部對病況差的患者需要較長時間克服。而最低分群的

病患,在經過 3 次治療後的效果也得到了良好的改善,改善幅度為 33.33%。

圖 14肢體伸展任務 measurements

在肢體伸展任務中,病患以站姿呈現。上圖顯示了全體病患在肢體伸展任務

中的平均表現,此任務中的變異因子有「凝視不同深度的物體產生的暈眩」、「站

姿產生的不穩定性」。相對於坐姿,站立時身體重心較為分散,對暈眩發生時的

反應也較為強烈。

結果發現,病人的平均分數在session2到session5呈現穩定的改善,而session6

的平均分數雖然略為下降,與session5的差異為1.8%。

75百分數的病患群,在session 3之後皆可達到相對高的分數(與四個任務相比),

而且分數是穩定的,雖然站姿會放大對暈眩發生的反應,但如果「凝視不同深度

的物體產生的暈眩」條件不夠強烈,則不會有暈眩發生的機會。而25百分數群和

最低分群的病患,在session 4之前的治療是有明顯的進步,平均的改善幅度為

19

20.0%,而包含session 4之後的表現,呈現穩定狀態。雖然得分情況不如75百分數

群,但皆具有類似的改善曲線。

上述可以知道可以藉由Kinect於肢體部位的判別來知道身體復原程度,例如

肢體動作的測試任務對於遊戲來說(這邊取投球遊戲),分數的高低對於復原的程

度有相關的依據,再和其他的測試數據來判斷病患的治療程度。

20

3.3 使用 Kinect開發復健醫療遊戲系統之研究

王修誼[20]立體感復健遊戲內容為目標,因 Kinect 裝置可以速、即時的抓取

人體動作資訊,故可以偵測使用者的動作,配合互動遊戲的設計,指示使用者玩

遊戲的同時,達到復健的目的。

在這篇內文顯示病患在於受傷之後復健時是一段漫長且枯燥的過程,在醫院

的時候有復健師的照顧可能還可以堅持下去但是出院以後往往因為辛苦所以中

斷復健,這篇所研究的乃是增加病患復健的樂趣,但是可能是因為為公司行號所

撰寫的內容比較少,不然這篇實用性或許比較貼近生活。

21

3.4 Kinect Hub: Kinect 體驗大本營

Kinect Hub[21]Xbox Dashboard 中的 Kinect 體驗中心,在這裡你可以用手勢

來訪問 Kinect 內容。Hub的設計簡單且容易理解,你可以注意到我們採用了巨大

的顏色分明的項目方塊,讓用戶輕鬆地找到並選擇他們所想做的事。

圖 15 Kinect Hub 主畫面

Kinect Hub: 如何使用?

可以通過懸停選擇來輕易選中 Kinect Hub 中的任何項目。你所要做的就是將

手停在想要選擇的項目方塊上並等待進度圓圈計時器填滿。左右手都行。

我們為屏幕上的項目方塊加入了一些有趣的立體效果,當你將手在項目方塊

間移動時可以注意到。(注意上圖手掌游標位置項目方塊有略微向內翻開的效果)

圖 16 Kinect Hub 滑鼠游標變化圖(一)

22

圖 17 Kinect Hub 滑鼠游標變化圖(二)

圖 18 Kinect Hub 滑鼠游標變化圖(三)

Kinect Hub 光標:如何知道誰在控制以及傳感器看到了什麼?

儘管同時只能有一個人控制 Kinect Hub 的手掌光標,但在我們收到的 Beta

測試反饋中有一個大問題是用戶不知道誰在控制,也不知道 Kinect 是否能夠真正

看到他們正在做的動作。

有些時候用戶在 Kinect 前做動作,但卻無法用手掌光標選中屏幕上的項目。

還有一些時候,玩家不知道客廳的傢俱擋住了 Kinect 的視線,玩家必須對房間重

新佈局以改善效果。

23

這些情況都將給用戶帶來極大的挫敗感,因此我們決定給予用戶更多的信息

來解決這些問題。

開發團隊採用一種有趣的方式來解決這些問題,也就是 Dashboard 和 Kinect

Hub右下角的傳感器視圖功能。這一視圖讓用戶看到實時景深視頻,清楚地勾勒

出玩家和房間內物體的輪廓[22]。

圖 19 Kinect Hub 動作(一)

圖 20 Kinect Hub 動作(二)

這個網站為Kinect的體驗網站可以看見一些Kinect所釋出的功能與一些比較

詳盡的地方可以使用上面所顯示的圖。

24

四、實驗結果與分析

本章節介紹我們專題的實體操作,首先剛進入主畫面的時候因該有人會疑惑,

為什麼我們操作時右手有游標而左手沒有,這個是因為程式的關係,因為我們有

些需要點擊的按鈕而游標就是作用於這個時候,所以我們只有設定感應右手作為

游標,但是這不影響左手的操作。

而我們右手往右移的時候螢幕顯示器面對我們的畫面會往右切換,往左邊就

往左切換,而其他感應手勢的動作下面會詳加介紹。

4.1 系統架構

本專題藉由Kinect擷取使用者的身體節點和動作並經由PC端處理,再根據所

選取的功能呈現出如深度影像或影像擷取之類。

圖 21系統示意圖

在進入畫面時,Kinect會根據你所設定的部位形成游標(這邊我們設定為右手),

在移動游標來選取我們想應用的功能例如照相:按下快門以後會出現返回和存取

的選項在根據使用者所選擇出現不一樣的結果。

25

4.2 手勢辨識

圖 22右手揮動(一)

圖 23右手揮動(二)

26

圖 24左手揮動(一)

圖 25左手揮動(二)

圖 26右手舉高(一)

27

圖 27右手舉高(二)

圖 28左手舉高(一)

圖 29左手舉高(二)

28

上面是本專題在 Kinect 動作的時候我們手勢的變化,如圖 22,以右手揮動

判斷來看,抓取到右手與頭 X 座標關節點,判斷右手 X 關節點是否有大於頭 X

座標關節點+0.5 點的位置,若有,則判斷為右手揮動[23]。

29

4.3 影像擷取

圖 30彩色影像擷取(一)

這張圖為擷取彩色影像之前的圖,可發現左下有一個按鈕可以操作游標得以

擷取彩色影像。

圖 31彩色影像擷取(二)

30

當彩色影像擷取以後可以看到畫面出現了兩個圖案,左下角的圖案為返回按

鈕,右下為儲存按鈕當按下了返回按鈕後畫面會回歸圖 30態,而按下了儲存鈕

則如下圖所示

圖 32彩色影像擷取(三)

31

4.4 深度影像

圖 33深度影像

如圖 33 示,這邊可以看到這張深度影像上面有 3個小點,這邊分別為頭部、

左手、右手這邊代表了 Kinect 偵測到了身體節點的依據,當然身體節點 Kinect

能偵測的不只這些不過本專題只用的到這 3個節點所以只顯示這 3個節點。

32

4.5 游標移動角度調整和關閉深度影像和彩色影像

圖 34設定(一)

本圖為設定功能的初始畫面,在右上的直線圖案表示為調整的角度(可調整角

度為),右邊的 0 代表調整的高低(0為基準點上至 15下至-15),最右下代表日期。

在往左邊的大型綠色按鈕則表示啟動設定按鈕,再繼續往左邊兩行紅字,上行紅

字表示「啟動深度影像功能」下行紅字表示「啟動色彩影像功能」,左上的圖紐

表示返回初始畫面。

33

圖 35設定(二)

這張圖可以看見在圖 35選的啟動深度影像功能已經不見了,代表深度影像

功能已經停止了。

圖 36設定(三)

如圖 36 這邊我們反向操作把深度影像功能打開。

34

圖 37設定(四)

這張圖可以看見在圖 37選的啟動色彩影像功能已經不見了,代表色彩影像

功能已經停止了。

35

第五章研究方法

5.1 研究架構

圖 38研究架構流程圖

如上圖所示一開始我們進入了色彩影像功能主畫面中有一個按鈕建立能為

拍照啟動按鈕,按下去的時候會有畫面顯示,然後有個設定可以調整畫面角度,

當按下快門的時候,會出現按下快門之後所想要擷取的影像並且會出現返回與儲

存的功能。

再來手勢往左移畫面則進入了深度影像功能,在這邊可以看到深度影像畫面

上有 3個紅點,這 3 個紅點分別是頭部、左手、右手可能有人會疑問為什麼只有

3個,那是因為本次專題只會用到這 3個部位。

手勢在往左移,會出現設定功能,在這邊可以調整 Kinect 的擷取畫面角度,

和關閉彩色影像和深度影像還有可以看到日期。

36

第六章結論

這個年代 3C 之類的家電已慢慢朝聲音控制與手勢辨識這兩種更加簡易的操

控方法,而我們專題所研究的透過 Kinect 所研究的手部辨識發現雖然 Kinect 感

應手勢動作很方便,但是還是有一些缺點在,如感應的場所不夠大或者是偵測範

圍內太多人會干擾偵測。

以 Kinect 來做報告雖然不是甚麼少見的例子,但是目前台灣所能查詢的資料

仍然過少,可能是 Kinect的相關領域比較年輕所以相關資料難以查詢,導致我們

在做這個專題的時候常常遇到難點,例如影像擷取這邊的缺陷為彩色影像擷取所

需要的動作是把右手游標帶往畫面左下角讓系統判別為擷取影像但是所擷取的

影像的人物會顯示右手往下的姿勢。

深度影像這邊靠著 Kinect 的距離量測功能,可以有多層次的深度影像可過濾

掉背景影像或將背景塗黑,只留下使用者的影像,但是缺陷是畫面會有些許的黑

白閃爍。

37

參考文獻

[1] 虛擬實境,http://zh.wikipedia.org/wiki/虛擬實境。

[2]體感,http://zh.wikipedia.org/wiki/體感

[3]Kinect,http://zh.wikipedia.org/wiki/Kinect。

[4]微軟官方博客揭密 Kinect工作原理,

http://cnbeta.com/articles/131754.htm。

[5] 優 化 處 理 ,

http://tw.knowledge.yahoo.com/question/question?qid=1105063000273。

[6]非線性模型匹配問題的研究 Study of Nonlinear Model Matching Problem,

http://www.cnki.net/kcms/detail/detail.aspx?dbcode=cjfq&dbname=cjfq1994&filen

ame=hbqj402.008&uid=&p=。

[7]圖 5來源,http://msdn.microsoft.com/zh-tw/hh367958.aspx。

[8]圖 6來源,http://msdn.microsoft.com/zh-tw/hh367958.aspx。

[9]CMOS 紅 外 線 感 應 器 ,

http://etds.lib.ncku.edu.tw/etdservice/view_metadata?etdun=U0026-081220091134

5157。

[10]FPS,http://zh.wikipedia.org/wiki/FPS。

[11]QVGA,

http://zh.wikipedia.org/wiki/QVGA。

[12]視訊圖形陣列(VGA),

http://zh.wikipedia.org/wiki/VGA。

[13]PCM,http://zh.wikipedia.org/wiki/脈衝編碼調變。

[14]ADC,http://zh.wikipedia.org/wiki/類比數位轉換器。

[15]Wii,http://zh.wikipedia.org/wiki/Wii。

[16]PlayStation 3,http://zh.wikipedia.org/wiki/PS3。

38

[17]劉星宏,利用Kinect做室內跌倒事件之偵測,國立中央大學資訊工程研究所,

碩士論文,中華民國一百零一年五月。

[18]洪彥伯,以虛擬實境為基礎的前庭暈眩復健系統和復健成效分析與研究,國

立中央大學資訊工程學系,碩士論文,中華民國一百零一年六月。

[19]Cawthorne-Cooksey ,

http://homepage.vghtpe.gov.tw/~clinmed/abst91/abst9112p431.htm。

[20]王修誼,使用Kinect開發復健醫療遊戲之系統研究,皮托科技股份有限公司。

[21]微軟官方博客揭秘 Kinect 工作原理,

http://www.digg360.com/2011/01/how_you_become_the_controller。

[22]微軟官方博客揭秘 Kinect 工作原理,

http://forum.gamer.com.tw/Co.php?bsn=60001&sn=357966。

[23]手勢判斷,

http://tw-hkt.blogspot.tw/2012/03/kinect-for-windows-sdk-v1.html。

39

表 4 甘特圖

尋找題目&確認方向 V V V

撰寫計劃書與期中報告 V

專題期中口試 V

Q&A意見表 V

依照老師加入相關功能 V V V

尋找資料 V V V V

海報製作 V

檢查漏洞 V V V

計劃書、報告 V V V

成果製作和查詢錯誤 V V V V V

專題報告完成 V V

5月 6月 7月 8月 9月 10月 11月 12月

40

元培科技大學資訊工程系

101 年 5 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 5月 10日

項次 工作進度 負責組員

1

工作項目 計劃書的更改

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 5 月 1 日至 101年 5 月 6 日

目前進度或問

題 計畫書大致上已完成剩下的是修改的部分較多

解決方案 與指導老師探討較艱深的問題,與上網查詢

2

工作項目 對於影像處理做更深一步探討

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 5 月 7 日至 101 年 5 月 13 日

目前進度或問

題 對於 JPEG演算法和矩陣函數量化更進一步探討

解決方案 尋找書籍例與老師討論

3

工作項目 使用 DCT的公式帶入 8*8的陣列

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 5 月 20 日至 101年 5 月 27 日

目前進度或問

對於公式的理解還有待加強,只能詳查書籍上網與詢

問老師

解決方案 靠著老師指導與書本解決此問題

指導老師簽名

41

元培科技大學資訊工程系

101 年 6 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 6月 10日

項次 工作進度 負責組員

1

工作項目 報告書修改

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 6 月 1 日至 101年 6 月 6 日

目前進度或問

不清楚報告書的應有格式

解決方案 找其他組的報告書來參考

2

工作項目 回答評審老師的問題

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 6 月 7 日至 101 年 6 月 13 日

目前進度或問

題 評審老師問之後的發展

解決方案 跟指導老師討論未來的發展跟走向

3

工作項目 暫無進度

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 6 月 13 日至 101年 6 月 21 日

目前進度或問

解決方案

指導老師簽名

42

元培科技大學資訊工程系

101 年 7 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 7月 10日

項次 工作進度 負責組員

1

工作項目 尋找相關題材

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 7 月 1 日至 101年 7 月 8日

目前進度或問

題 決定為最近很流行的 Kinect 來融入專題

解決方案 尋找相關資料

2

工作項目 討論 Kinect 的相關應用

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 7 月 9 日至 101 年 7 月 16 日

目前進度或問

題 需要器材看許多相關應用軟體

解決方案 購買器材和查詢相關應用程式

3

工作項目 安裝 Kinect 和執行範例

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 7 月 17 日至 101年 7 月 24 日

目前進度或問

題 相關程式和 KIinect 的安裝有許多問題

解決方案

跟老師一起研究和上網查看

指導老師簽名

43

元培科技大學資訊工程系

101 年 8 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 8月 10日

項次 工作進度 負責組員

1

工作項目 Kinect 範例執行

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 8月 1 日至 101年 8 月 8 日

目前進度或問

題 把網上許多範例拿來執行與討論

解決方案

2

工作項目 Kinect 範例執行

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 8 月 9 日至 101 年 8 月 16 日

目前進度或問

題 許多範例無法執行

解決方案 和指導老師討論與上網查詢

3

工作項目 Kinect 範例執行

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 8 月 17 日至 101年 8 月 24 日

目前進度或問

題 部分範例無法執行

解決方案 和指導老師討論與上網查詢

指導老師簽名

44

元培科技大學資訊工程系

101 年 9 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 9月 10日

項次 工作進度 負責組員

1

工作項目 Kinect 操作

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 9 月 1 日至 101年 9 月 8 日

目前進度或問

題 對於 Kinect 相關編譯器一些題目執行問題

解決方案 網路上查詢與詢問老師

2

工作項目 Kinect 範例實驗

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 9 月 9日至 101 年 9 月 16 日

目前進度或問

題 發現有些必要相關程式不存在

解決方案 查詢其他檔案夾是否存在相關檔案與版本的問題

3

工作項目 研究 Kinect 和影像結合

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 9 月 17 日至 101年 9 月 24 日

目前進度或問

把 Kinect和影像色彩更緊密的結合也把一些有趣的地

方,做更進一步的測試。

解決方案

相關的程式編譯器盡可能的了解

指導老師簽名

45

元培科技大學資訊工程系

101 年 10 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 10月 10日

項次 工作進度 負責組員

1

工作項目 Kinect 和影像結合

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 10 月 1 日至 101年 10 月 7 日

目前進度或問

題 把 Kinect 和影像做結合。

解決方案 和老師與組員們討論。

2

工作項目 Kinect 和影像結合

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 10 月 8 日至 101 年 10 月 14日

目前進度或問

題 把 SDK程式所學到的東西和所構想的功能做結合。

解決方案 在構想方面如果構想難度過高會尋找老師看有無解決

方法,如果過於困難則選擇較簡單的構想。

3

工作項目 Kinect 和影像結合

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 10 月 15 日至 101年 10 月 21 日

目前進度或問

題 把成果的作品再增加些許構想。

解決方案 同上。

指導老師簽名

46

元培科技大學資訊工程系

101 年 11 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 11月 10日

項次 工作進度 負責組員

1

工作項目 計劃書製作

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 11 月 1 日至 101年 11 月 8日

目前進度或問

題 把目前所的成果與目前所用的資料製作。

解決方案

2

工作項目 成果最後改動修訂並繼續製作計畫書

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 11 月 9 日至 101 年 11 月 23 日

目前進度或問

題 已完成專題最後改動,並與老師討論計畫書的內容

解決方案

3

工作項目 計劃書製作

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 11 月 24 日至 101年 11 月 30 日

目前進度或問

題 計劃書內容和格式不夠嫻熟。

解決方案 參考以前學長們和別組的計畫書並詢問老師。

指導老師簽名

47

元培科技大學資訊工程系

101 年 12 月專題工作進度表

專題名稱 使用 Kinect 控制器的手勢辨識與動作追蹤研究 日期 12月 3日

項次 工作進度 負責組員

1

工作項目 計劃書、檢查成果

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 12月 1 日至 101年 12月 8日

目前進度或問

解決方案

2

工作項目 成果發表準備

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 12 月 9 日至 101 年 12 月 12日

目前進度或問

解決方案

3

工作項目 成果完結作業

蔡容曜,

鄭詠彰,

預定日期起迄 101 年 12 月 13日至 101 年 12 月 30 日

目前進度或問

解決方案

指導老師簽名

48

自傳

0981412089 蔡容曜

大家好我是蔡容曜,我出生於台北,居住在桃園,而住家附近是桃園機場是

國家的門面(是嗎 ? ),我的興趣是旅遊、玩電腦看影視節目…等。

因為家裡住機場附近的關係對於飛機來說相當的熟悉,像是哪個飛機是哪個

航空公司的都辨識的出來,不過空服員的制服就不一定了,畢竟有些航空公司每

過幾年就會把制服樣式做改變,不過我蠻喜歡某些航空公司的制服(是制服喔,

人呢…看情況啦),所以對於電視上播的新聞或者是電視劇和機場有關的時候都

會相當關注,畢竟是自己的故鄉所以會有別於其他地方的情感所在。

0981412110 鄭詠彰

我的名字是鄭詠彰,家裡住在大庄那邊,家裡經營著一家包子店,因為家裡

的緣故而選擇就讀元培這所學校,晚上的時候會在家裡幫忙做包子分攤家計,這

4年在學校交到了不少朋友,更有一些同學交會了我許多學校學不到的事情,而

老師們教授的專業知識更是讓我受益匪淺,謝謝在這 4年陪伴我的所有人。

49

陳啓禎老師

1. Q:目前為 3點辨識,若需要增加為 4 個或 5個點,而程式複雜度如何?

A:因本專題需要用的只有頭和右手左手等等 3 個點,Kinect 可以偵測的點為 22

個然而程式複雜度基本不會增加多少。

2. Q:偵測點移動方式,除上下左右前後之外,亦可考慮旋轉,角度移動等。

A:在實例中有見過 Kinect 用手勢便是一個動作在做完指令時等待一小段時間就

會執行動作的影片,不過對於我們尚有難度,這邊旋轉和角度移動辨識是可以做

到的。

3. Q:移動可再編短?

A:這邊移動感應距離是可以用程式碼縮短距離的,但是因為 Kinect 的感應有些粗

糙所以才取比較大的感應距離。

4. Q:可加入立即互動模式,如:小遊戲…

A:謝謝老師的建議,已於成果中加入了一個小遊戲。

5. Q:光源問題可以克服,如:其他色彩空間。

A:這邊由於 Kinect 是微軟所開發的產品,所以對於光線感應的問題尚且有些許難

度,不過可以確定的是在黑暗中 Kinect 依然可以偵測到人體變化,下圖便是黑暗

中的便是圖片。

50

鄭瑞恆老師

1. Q:報告中有許多有趣的應用若能實作其中應用,將能展現 Kinect 的優點。

A:參考文獻中提到的大部分都跟醫療有些許關係,而 Kinect 本來最為相關的是遊

戲,在醫療方面的相關研究和實力比較少,所以還有許多可以探索的空間,而最

後一個文獻是微軟給予開發者設計的一個了解 Kinect 的地方。

陳尚寬老師

1. Q:計劃書格式編排順序混亂。

A:在成果口試中老師所提及的部分第8頁已修正還有參考資料順序(第37頁)已修

正。

黃明輝老師

1. Q:星號的用法錯誤。

A:這邊跟老師抱歉一下,因為星號用法仍然不是很了解,所以把全部的補充資料

改為用註腳的方式呈現。

2. Q:段落間有大小不一的間格。

A:這邊除了段落標題以外全部間距均改為前 0 行後 10pt 縮排皆為 0 字元,應該

可以改善老師所提及的中英文再一起時段落有差異的問題。