เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์...

67
เเเเเเเเเเเเเเเเเเเเ เเเเเเเเเเเเเเเเเเเ เเเเเเเเเเเเเเเเเเเเเเเ เเเเเเเเเเเเเเเเเเเเ เเเเ นนนนนนนนนน นนน นนนนนน นนนนนนนน นนนนนนนนนนนนนนนนนนนนนนนนนนน น.นน.นนนนนนนนน นนนนนน นนนนนนนนนนนนนนนนนนนนนนนนนน นนนนนนนนนนนนนนนนนนนนน

description

เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์. นำเสนอโดย นาย อรรถกร พูนศิลป์ อาจารย์ที่ปรึกษาวิทยานิพนธ์ อ.ดร.อรรถวิทย์ สุดแสง ภาควิชาวิศวกรรมคอมพิวเตอร์ จุฬาลงกรณ์มหาวิทยาลัย. Outline. ความเป็นมาและความสำคัญของปัญหา งานวิจัยและทฤษฎีที่เกี่ยวข้อง - PowerPoint PPT Presentation

Transcript of เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์...

Page 1: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

เฟรมเวิ�ร�กของส่ วินต่ อประส่านก�บผู้��ใช้�ผู้ านศี�รษะมน�ษย์�เส่ม�อนโดย์ใช้�โมโนส่โกป"กฟ"ช้แทงก�วิ�อาร�

นำ��เสนำอโดย นำ�ย อรรถกร พู�นำศิ�ลป์�อ�จ�รย�ที่��ป์ร�กษ�วิ�ที่ย�นำ�พูนำธ์� อ.ดร.อรรถวิ�ที่ย� ส�ดแสง

ภ�ควิ�ช�วิ�ศิวิกรรมคอมพู�วิเตอร� จ�ฬ�ลงกรณ์�มห�วิ�ที่ย�ล)ย

Page 2: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

2

Outline

ควิามเป&นมาและควิามส่(าค�ญของป*ญหา งานวิ�จั�ย์และทฤษฎี�ท�/เก�/ย์วิข�อง ราย์ละเอ�ย์ดในการพั�ฒนา การทดลองและผู้ลการทดลอง ส่ร�ป

Page 3: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

3

ควิ�มเป์*นำม�และควิ�มส��ค)ญของป์.ญห�

Page 4: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

4

ควิ�มเป์*นำม�และควิ�มส��ค)ญของป์.ญห� User Interface ท�/ใช้�ก�นท�/วิไปต่�3งแต่ อด�ต่ถึ5งป*จัจั�บ�น

ส่ วินใหญ จั(าก�ดแค แป6นพั�มพั�และเมาส่� ไม เป&นธรรมช้าต่� ต่�องใช้�เวิลาศี5กษาเร�ย์นร� � การน(าเส่นอขาดควิามน าส่นใจั

User Interface ท�/น(าเส่นอ ใช้�ภาษาพั�ด และภาษาท าทางประกอบ เป&นธรรมช้าต่� คนท�/ไม เคย์ใช้�มาก อนก:ส่ามารถึใช้�งานได�

ท�นท� ด5งด�ดควิามส่นใจัได�มากกวิ า

Page 5: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

5

ควิ�มเป์*นำม�และควิ�มส��ค)ญของป์.ญห� แนวิค�ดของงานวิ�จั�ย์น�3

พั�ดค�ย์ และม�ปฏิ�ก�ร�ย์าต่ างๆ ไปย์�งผู้��ใช้�งานได�

Page 6: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

6

ง�นำวิ�จ)ยที่��เก��ยวิข/อง

Page 7: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

7

ง�นำวิ�จ)ยที่��เก��ยวิข/อง Jun Rekimoto, A Vision-Based Head

Tracker for Fish Tank Vitual Reality - VR without Head Gear. Proceedings of VRAIS'95 ,1995, Pages -941

00

ต่รวิจัจั�บต่(าแหน งผู้��ใช้�งาน น(าต่(าแหน งไปปร�บม�มมองแบบฟ"ช้แทงก�วิ�อาร�ของ

โมเดลส่ามม�ต่�

Page 8: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

8

ง�นำวิ�จ)ยที่��เก��ยวิข/อง

Page 9: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

9

ง�นำวิ�จ)ยที่��เก��ยวิข/อง ข�อจั(าก�ด

ผู้��ใช้�ต่�องอย์� ห างจัากกล�องเป&นระย์ะท�/คงท�/ ต่�องเก:บภาพัต่�นแบบใบหน�าไวิ�ก อน และไม ทนทานต่ อ

ส่ภาพัแส่งท�/เปล�/ย์น

Page 10: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

10

ง�นำวิ�จ)ยที่��เก��ยวิข/อง Paula Salgado Lucena, Marcelo Gattass,

and Luiz Velho. Expressive Talking Heads: A Study on Speech and Facial Expression in Virtual Characters. Revista SCIENTIA 2002, . Talking Head ท�/ส่ามารถึพั�ดต่ามส่คร�ปต่� และขย์�บ

ปากส่อดคล�องก�บเส่�ย์งพั�ด กรอกล�กต่าไปมา และ แส่ดงอารมณ์�ได�

Page 11: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

11

ง�นำวิ�จ)ยที่��เก��ยวิข/อง ต่�วิอย์ างใบหน�าท�/ใช้�

Page 12: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

12

ง�นำวิ�จ)ยที่��เก��ยวิข/อง ข�อจั(าก�ด

พั�ดต่ามข�อควิามท�/ป6อนโดย์ผู้��ใช้�เท าน�3น ไม ส่ามารถึร�บร� �ควิามเป&นไปของผู้��ใช้�งาน

Page 13: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

13

ง�นำวิ�จ)ยที่��เก��ยวิข/อง Cynthia Breazeal, Brian Scassellati, How

to build robots that make friends and influence people., IROS99 , Kyonjiu ,Korea 1999, . ม�ล�กษณ์ะเป&นห� นย์นต่�ท�/ม�เฉพัาะส่ วินของศี�รษะ แส่ดงออกทางอารมณ์�ได� และพั�ดค�ย์ง าย์ๆ ได� ร�บร� �ปฏิ�ก�ร�ย์าของผู้��ใช้�งานได� เป&นเพั�/อนเล นก�บเด:กๆ ได�

Page 14: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

14

ง�นำวิ�จ)ยที่��เก��ยวิข/อง

Page 15: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

15

ง�นำวิ�จ)ยที่��เก��ยวิข/อง ข�อจั(าก�ด

ม�ต่�นท�นในการส่ร�างท�/ส่�ง ล�กษณ์ะภาย์นอกเป&นห� นย์นต่�ท�/ไม เหม�อนหน�าคนจัร�ง

Page 16: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

16

ร�ยละเอ�ยดในำก�รพู)ฒนำ�

Page 17: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

17

ร�ยละเอ�ยดในำก�รพู)ฒนำ� ควิามส่ามารถึของระบบ

แส่ดงโมเดลส่ามม�ต่�ของศี�รษะมน�ษย์�เส่ม�อนจัร�ง ส่ามารถึมองไปย์�งผู้��ใช้�ได� ส่นทนาพั�ดค�ย์ก�บผู้��ใช้�ได� แส่ดงอารมณ์� ได�แก ปกต่� ย์�3ม เศีร�า ประหลาดใจั หวิาด

กล�วิ โกรธ และส่ะอ�ดส่ะเอ�ย์น ส่ามารถึปร�บม�มมองให�ส่อดคล�องก�บต่(าแหน งของผู้��ใช้�

โดย์ใช้�ฟ"ช้แทงก�วิ�อาร�

Page 18: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

18

โครงสร/�งก�รที่��ง�นำ

Speech Recognition

Engine

Main Process

A.L.I.C.E Bot

Text-to-speech Engine

Text Filter

Text Input

EyesLip Camera Perspec

tive

Pattern Tracker

3D Reconstructor

AIML(ALICE Brain)

Fish Tank VR

3D Head Model

INPUT

OUTPUT

Page 19: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

19

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ผู้��ใช้�ต่�องส่วิมหมวิกท�/ต่�ดร�ปแบบต่รวิจัจั�บ เพั�/อให�กล�อง

ร�บภาพัเข�ามาประมวิลผู้ลหาต่(าแหน ง

Page 20: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

20

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู เหต่�ผู้ลท�/ใช้�ร�ปแบบต่รวิจัจั�บแบบท�/กล าวิมา

ประมวิลผู้ลหาต่(าแหน งได�อย์ างรวิดเร:วิกวิ าการต่รวิจัจั�บใบหน�าโดย์ต่รง

ไม จั(าเป&นต่�องเทรนระบบให�ร� �จั(าใบหน�าผู้��ใช้�แต่ ละคน การต่รวิจัจั�บส่�/เหล�/ย์มส่�ด(าบนพั�3นขาวิท(าได�อย์ างแม นย์(า

และคงทน (Robust) กวิ าร�ปแบบอ�/นๆ หากร�ปส่�/เหล�/ย์มม�จั(านวินมากกวิ าส่อง จัะม�โอกาส่เก�ด

ควิามผู้�ดพัลาดมากข53น เพัราะจั�ดม�จั(านวินมากข53น หากร�ปส่�/เหล�/ย์มม�เพั�ย์งร�ปเด�ย์วิ อาจัม�ร�ปร างซ้ำ(3าก�บวิ�ต่ถึ�

อ�/นๆ เช้ น จัอมอน�เต่อร�ท(าให�การต่รวิจัจั�บผู้�ดพัลาดง าย์

Page 21: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

21

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู เม�/อร�บภาพัมาจัากกล�อง ข�3นต่อนแรกค�อการปร�บแก�การ

บ�ดเบ�3ย์วิในแนวิร�ศีม�ของภาพั (Undistortion)

Page 22: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

22

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ต่�วิอย์ างภาพัท�/ปร�บแก�การบ�ดเบ�3ย์วิในแนวิร�ศีม�แล�วิ

Page 23: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

23

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู แปลงจัากภาพัส่�ให�เป&นภาพัระด�บเทา (Gray Scale)

Page 24: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

24

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ขย์าย์ขนาดจั�ดส่วิ าง (Dilation)

Page 25: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

25

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู แปลงให�เป&นภาพัไบนาร� โดย์ใช้�ค าเทรช้โฮล

(Threshold) จัากค าเฉล�/ย์ของควิามส่วิ างท�/วิท�3งภาพั

Page 26: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

26

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู หาเส่�นรอบร�ป (Contour)

Page 27: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

27

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ต่�ดเส่�นท�/ล�อมรอบของจั�ดส่วิ าง ให�เหล�อแต่ เส่�นท�/ล�อมรอบ

กล� มของจั�ดม�ด ต่�ดเส่�นรอบร�ปท�/ม�พั�3นท�/น�อย์กวิ าท�/ก(าหนดออก

Page 28: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

28

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู เล�อกเฉพัาะเส่�นท�/คล�าย์ส่�/เหล�/ย์ม เล�อกเฉพัาะเส่�นท�/ม�ล�กษณ์ะน�นโค�ง (Convex)

Page 29: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

29

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ในข�3นต่อนน�3 อาจัม�กรณ์�ท�/ม�เส่�นรอบร�ปจัากวิ�ต่ถึ�อ�/นท�/ไม ใช้

ร�ปแบบต่รวิจัจั�บก:ได� แก�โดย์การเล�อกเอาเฉพัาะเส่�นส่�/เหล�/ย์มส่องร�ปท�/ม�ม�มต่�ดก�น

Page 30: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

30

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู เฉล�/ย์ค าต่(าแหน งจั�ดม�มท�กจั�ดจัาก 4 เฟรมล าส่�ด เพั�/อลด

การกระต่�กและกระโดดของต่(าแหน งท�/ต่รวิจัจั�บได�

Page 31: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

31

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ภาพัผู้ลล�พัธ�

Page 32: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

32

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู ต่รวิจัจั�บต่(าแหน งผู้��ใช้� (x,y,z) จัากต่(าแหน ง (x,y) ของจั�ดม�ม

ท�3ง 7 จั�ด ใช้�เทคน�ค Camera Calibration

Intrinsic Camera Parameters ควิามย์าวิโฟก�ส่ (Focal length) ต่(าแหน งของจั�ดก5/งกลางภาพั (Principal point) ขนาดของแต่ ละจั�ดภาพั (Effective pixel size) ส่�มประส่�ทธ�Bการบ�ดเบ�3ย์วิในแนวิร�ศีม�ของเลนส่� (Radial distortion

coefficient) Extrinsic Camera Parameters

เมต่ร�กซ้ำ�การหม�น (Rotation matrix) เวิกเต่อร�การเคล�/อนท�/ (Translation vector)

Page 33: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

33

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู จั�ดในพั�ก�ดส่ามม�ต่� M และจั�ดท�/ปรากฏิบนภาพั m เป&น

ไปต่ามควิามส่�มพั�นธ�

[ ]m A Rt M

ต่�องการหา [Rt] เพั�/อน(าไปใช้�งาน m ค�อต่(าแหน งในภาพัของจั�ดม�มท�3งเจั:ด M ค�อต่(าแหน งจัร�งท�/ได�จัากการวิ�ดแบบ Relative ของจั�ดม�ม

ท�3งเจั:ด A (Intrinsic parameters) หาได�จัากการท(า Camera

calibration โดย์ต่�องหาให�เส่ร:จัส่�3นก อนท�/ระบบจัะเร�/มท(างาน

Page 34: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

34

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู Translation Vector ท�/ได�ค�อต่(าแหน ง (x,y,z)

ของร�ปแบบต่รวิจัจั�บเท�ย์บก�บกล�อง ส่ามารถึหาต่(าแหน งของต่าเท�ย์บก�บกล�อง (ร�ปแบบ

ต่รวิจัจั�บม�ต่(าแหน งท�/คงท�/เท�ย์บก�บต่า) ส่ามารถึหาต่(าแหน งของต่าเท�ย์บก�บก5/งกลางจัอภาพั ต่(าแหน งพั�ก�ดส่ามม�ต่�ท�/ได�ม�หน วิย์เป&นเซ้ำนต่�เมต่ร

(cm)

Page 35: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

35

ก�รตรวิจห�ต��แหนำ2งของผู้�/ใช/เที่�ยบก)บจอภ�พู

ค(านวิณ์หาพัาราม�เต่อร�แบบภาย์ใน

ร�บภาพัจัากกล�อง

ปร�บแก�การบ�ดเบ�3ย์วิต่ามแนวิร�ศีม�

ต่รวิจัจั�บจั�ดม�มท�3ง 7 จั�ด

ค(านวิณ์หาพัาราม�เต่อร�แบบภาย์นอก

ค(านวิณ์หาต่(าแหน งต่าผู้��ใช้�เท�ย์บก�บจัอภาพั แล�วิ

น(าไปใช้�งาน

Page 36: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

36

ก�รป์ร)บม�มมองให/ส)มพู)นำธ์�ก)บต��แหนำ2งของผู้�/ใช/ ใช้�เทคน�ค Fish-Tank VR

แส่ดงภาพักราฟฟ"กผู้ านจัอมอน�เต่อร�ธรรมดา ใช้�ระบบการต่�ดต่ามต่(าแหน งของศี�รษะผู้��ใช้� (Head

Tracking) ปร�บม�มมองหร�อเพัอส่เปกท�ฟให�ส่�มพั�นธ�ก�บต่(าแหน ง

ดวิงต่าผู้��ใช้�ในขณ์ะน�3น ถึ�าใช้�ร วิมก�บแวิ นต่าส่ามม�ต่�จัะเป&นแบบ

stereoscopic แต่ ถึ�าไม ได�ใช้�ร วิมก�บแวิ น ก:จัะเป&นแบบ monoscopic

Page 37: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

37

ก�รป์ร)บม�มมองให/ส)มพู)นำธ์�ก)บต��แหนำ2งของผู้�/ใช/ Fish-Tank VR

Page 38: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

38

ก�รป์ร)บม�มมองให/ส)มพู)นำธ์�ก)บต��แหนำ2งของผู้�/ใช/ กล�องในโลกส่ามม�ต่�และการก(าหนดเพัอส่เปกท�ฟ

Page 39: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

39

ก�รป์ร)บม�มมองให/ส)มพู)นำธ์�ก)บต��แหนำ2งของผู้�/ใช/

(0,0,0)

(trans[0], trans[1], trans[2])

+x

+y

(xmin, ymin, 0)

(xmax, ymax, 0)

Camera Direction

Entire Screen Area

Window Area

Page 40: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

40

ก�รที่��ให/โมเดลสบต�ผู้�/ใช/ แย์กช้�3นโมเดลระหวิ างใบหน�าและดวิงต่าท�3งส่องข�าง

Page 41: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

41

ก�รที่��ให/โมเดลสบต�ผู้�/ใช/

1

2 2tan

y

x z

1tanx

z

Page 42: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

42

ก�รพู�ดค�ยโต/ตอบ ใช้� A.L.I.C.E Bot

ต่�ดต่ อผู้ านพัอร�ต่ 2001 ฐานข�อม�ลประโย์คส่นทนาเก:บไวิ�ในไฟล� AIML

Page 43: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

43

ก�รพู�ดค�ยโต/ตอบ ร�ปแบบการต่�ดต่ อก�บ A.L.I.C.E Bot

“text = ข�อควิามท�/อย์ากจัะพั�ดค�ย์” ส่ งไปท�/พัอร�ต่ 2001

จัะได�ร�บการต่อบกล�บเป&นข�อควิามเช้ นเด�ย์วิก�น เม�/อได� Output จัาก A.L.I.C.E Bot ออกมาแล�วิ ก:

จั(าเป&นต่�องน(าเข�าส่� กระบวินการกรองข�อควิามก อนท�/จัะส่�งเคราะห�เป&นเส่�ย์ง

Page 44: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

44

ระบบกล/�มเนำ56อบนำใบหนำ/� แส่ดงจั�ดย์อด, โพัล�กอนและเส่�นไวิร�เฟรม

Page 45: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

45

ระบบกล/�มเนำ56อบนำใบหนำ/� จั(าลองระบบกล�ามเน�3อจัากคนจัร�ง

ม�ส่องส่ถึานะค�อ ย์�ด (Relax) และ หด (Contract)

Page 46: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

46

ระบบกล/�มเนำ56อบนำใบหนำ/�V1 V1V2 V2

V3V3

Page 47: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

47

ระบบกล/�มเนำ56อบนำใบหนำ/� ปร�บกล�ามเน�3อเพั�/อให�ม�ล�กษณ์ะการย์�3ม

Page 48: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

48

ระบบกล/�มเนำ56อบนำใบหนำ/� ปร�บกล�ามเน�3อเพั�/อให�ม�ล�กษณ์ะหน�าบ53ง

Page 49: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

49

ระบบกล/�มเนำ56อบนำใบหนำ/� การปร�บขากรรไกรเพั�/อให�อ�า

ปาก

Page 50: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

50

ก�รขย)บป์�กให/สอดคล/องก)บเส�ยงพู�ด Text-to-speech จัะส่ ง “Viseme” ออกมาขณ์ะ

ท(างาน Viseme ค�อร�ปแบบปากท�/ส่�มพั�นธ�ก�บหน วิย์เส่�ย์ง

หน5/งๆ เก:บร�ปแบบปากท�3งหมดไวิ�ในไฟล�ก อน

ค าการย์�ดหดกล�ามเน�3อแต่ ละเส่�น ค าองศีาขากรรไกร

เร�ย์กใช้�ร�ปแบบปากท�/ต่�องการจัากไฟล�

Page 51: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

51

ก�รขย)บป์�กให/สอดคล/องก)บเส�ยงพู�ด ร�ปแบบปากแบบต่ างๆ ก�น

Page 52: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

52

ก�รแสดงอ�รมณ์� ม�หล�กการเช้ นเด�ย์วิก�นก�บการขย์�บปาก เก:บอารมณ์�ท�กแบบไวิ�ในไฟล� เม�/อต่�องการแส่ดงอารมณ์�แบบใด ก:ให�อ านจัากไฟล�

แล�วิปร�บค าการย์�ดหดกล�ามเน�3อให�ส่�มพั�นธ�ก�บข�อม�ลในไฟล�

Page 53: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

53

ก�รแสดงอ�รมณ์� ร�ปแบบอารมณ์�แบบต่ างๆ ก�น

Page 54: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

54

ก�รที่ดลองและผู้ลก�รที่ดลอง

Page 55: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

55

ระบบที่��ใช/ในำก�รที่ดลองหมวิกท�/ต่�ดร�ปแบบต่รวิจัจั�บ

กล�องวิงจัรป"ด

ห�ฟ*งและไมโครโฟน

Page 56: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

56

วิ)ดควิ�มถ�กต/องของก�รค��นำวิณ์ต��แหนำ2งร�ป์แบบตรวิจจ)บ

Page 57: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

57

วิ)ดควิ�มถ�กต/องของก�รค��นำวิณ์ต��แหนำ2งร�ป์แบบตรวิจจ)บ ที่��ระยะ 80 เซนำต�เมตร

ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน X = 0.613333 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Y = 1.106667 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Z = 3.774167 เซ้ำนต่�เมต่ร

ที่��ระยะ 60 เซนำต�เมตร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน X = 0.935000 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Y = 1.484167 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Z = 6.221667 เซ้ำนต่�เมต่ร

ที่��ระยะ 40 เซนำต�เมตร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน X = 0.587500 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Y = 0.477500 เซ้ำนต่�เมต่ร ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Z = 2.222500 เซ้ำนต่�เมต่ร

Page 58: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

58

วิ)ดควิ�มถ�กต/องในำก�รมองไป์ย)งต��แหนำ2งต2�งๆ ท�/ระย์ะ 60 เซ้ำนต่�เมต่ร

ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน X = 1.714286 เซ้ำนต่�เมต่ร

ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Y = 2.000000 เซ้ำนต่�เมต่ร

ค าควิามคลาดเคล�/อนเฉล�/ย์ของแกน Z = 0.000000 เซ้ำนต่�เมต่ร

Page 59: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

59

ผู้ลที่��ได/จ�กระบบ เม5�อไม2ใช/ Fish Tank VR

Page 60: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

60

ผู้ลที่��ได/จ�กระบบ เม5�อไม2ใช/ Fish Tank VR

Page 61: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

61

ผู้ลที่��ได/จ�กระบบ เม5�อเป์:ดใช/ Fish Tank VR

Page 62: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

62

ผู้ลที่��ได/จ�กระบบ เม5�อเป์:ดใช/ Fish Tank VR

Page 63: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

63

ผู้ลก�รที่ดสอบก�รพู�ดค�ยสนำที่นำ�

Page 64: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

64

ผู้ลก�รวิ)ดควิ�มพู�งพูอใจของผู้�/ใช/ง�นำ

พูอใจเฉยๆไม2พูอใจ

พั5งพัอใจั 80% ให�เหต่�ผู้ลวิ าเป&นระบบ

การต่�ดต่ อท�/แปลกใหม และน าส่นใจั น าจัะเป&นประโย์ช้น�ในอนาคต่

เฉย์ๆ 20% ต่�ดข�ดต่รงส่ วินร� �จั(า

เส่�ย์งพั�ด เพัราะผู้��ใช้�แต่ ละคนก:ม�เส่�ย์งพั�ดท�/ต่ างก�นไป

ไม พั5งพัอใจั 0%

Page 65: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

65

สร�ป์

Page 66: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

66

สร�ป์ก�รวิ�จ)ย ส่ร�ปการวิ�จั�ย์

ม�ควิามแม นย์(าอย์� ในระด�บท�/ด� ม�ข�อผู้�ดพัลาดอย์� บ�าง เช้ น ย์�งม� distortion หลง

เหล�ออย์� , ระบบไม ร� �จั�กประโย์คส่นทนาบางร�ปแบบ ข�อเส่นอแนะ

ต่�องละเอ�ย์ดในการท(า Calibration ให�มากข53น เพั�/มเต่�มร�ปแบบประโย์คใหม ๆ ให�มากกวิ าเด�ม

การวิ�จั�ย์ในอนาคต่ ให�ม�ฟ*นและล�3นด�วิย์ ให�ระบบม�ควิามจั(า และพั�ฒนาต่�วิเองได�

Page 67: เฟรมเวิร์กของส่วนต่อประสานกับผู้ใช้ผ่านศีรษะมนุษย์เสมือนโดยใช้โมโนสโกปิกฟิชแทงก์วีอาร์

67

จบแล/วิ ขอบค�ณ์คร)บ