人類行為訊號處理 - airc.org.tºº類行為訊號分析... ·...

1

李祈均 (Jeremy)國立清華大學電機工程學系人類行為訊息與互動計算研究室Behavioral Informatics and Interaction Computation Lab (BIIC)

人類行為訊號處理:

全新跨學科(教育、醫療)人類行為量化分析之決策工具

中華民國精算學會年度會員大會(AIRC)2016.11.30

2

PhD: Dec. 2012 @ USCAdvisor: Prof. Shrikanth Narayanan (Shri)

Thesis TitleBehavioral Signal Processing: Computational Approachesfor Modeling and Quantifying Interaction Dynamics inDyadic Human Interactions

2013 – 2014Identity Protection

Credit Card ProtectionFraud Prevention

2014 –BIIC@EE Dept., National Tsing Hua University

3

透過數位資料收集、整合跨領域人類科學知識、開發訊號處理演算法，對於人類行為量化分析辨識，提供專家全新的決策工具

Seek a window into human mind and traits…

…through engineering approach

S. Narayanan and P. G. Georgiou, “Behavioral signal processing: Deriving human behavioral informatics from speech andlanguage," Proceedings of the IEEE, vol. 101, no. 5, pp. 1203–1233, 2013.

4

訊號處理、機器學習Enabling Technologies

領域專家知識Domain Experts Knowledge

Low level descriptors

Acoustic features

Motion features

Text features

Image features

Speech recognition

Face recognition

Action recognition

Dialog act tagging

Keyword spotting

Text processing

Sentiment Analysis

Affect recognition

Speaker states and

traits

Visual-speech

processing

Interaction modeling

Subjectiveassessment

Internal state & construct

Neuro-developmental disorder

Evidence-based

observational coding

Intervention efficacy

Coder variability

control

Development of coding manual

Self report measure validity

Coding mechanism

Social behavior

Affective behavior

Communicative

behavior

Dyadic behavior

人類訊號處理

5

情緒辨識 Affective Computing

社交行為訊號處理 Social Signal Processing

副語言資訊辨識 Paralinguistic Recognition

生心理病症辨識預測 Physiological/Pathological Disorder Recognition/Prediction

6

深度跨領域合作

人類行為訊號處理Behavior signal processing

QUANTITATIVE (客觀化)：QUANTITATIVE EVIDENCE DIRECTLY FROM MEASURABLE SIGNALS

EFFICIENCY (效率化) :HELP DO THINGS THAT EXPERTS KNOW TO DO WELL MORE EFFICIENTLY, CONSISTENTLY & AT SCALE

SUPPLMENTARY (附加性):

COMPLEMENT WITH GOLD STANDARD METHOD WHEN APPROPRIATE

POSSIBILITY (可能性):

TOOLS FOR NOVEL ACTIONABLE INSIGHT DISCOVERY

7

COMPUTING BEHAVIORAL TRAITS & STATES FOR DECISION MAKING & ACTION

…目標...

主觀敘述至客觀訊號聲音、影像、文字

8

舉幾個跨學科實例 . . .

9

教育:

國家教育研究院

10

親子天下(2013，3 月13 日)以「題型僵化？誰把老師考笨了？」為標題，明白指出對於現行教師資格檢定命題方式的疑慮

天下雜誌(2013，5 月29 日)從「被標準答案綁架的老師」來訴說檢定試題題型的僵化，已限制住原有欲評量師資應具備的基本能力。

11

國家教育研究院年度校長儲訓班

12

個案研究

學校校務發展計畫

教育參觀心得

學科測驗

約200位學員/年

目前: 兩位輔導校長評分

有可能電腦一起幫忙評?

生活札記

即席演講

學校行政事務演習

生活表現

13

62.5分 (低)題目:請對學校教師說明你對"教師評鑑"的看法

89分 (高)題目: 如何提升學生英語能力

14

讓電腦看、聽演講

15

聲音特徵計算

肢體動作特徵計算

𝑙-frame Dense Points Tracking

TRAJ

MBHxy

Each 𝑉𝑚 = A Unit-level (66ms) 𝑞-length Derived Video features

肢體動作的低階(66毫秒)描述向量整體演講肢體動作表達(編碼)

𝑉1𝑉𝑚

𝑉2

𝑉3

𝑉𝑀

𝑆1

𝑆2

𝑆𝑁

Acoustic LLDs

Each 𝐴𝑆𝑋:𝑌 = A Unit-level (200ms)𝑝-length Dense Acoustic Features

Functionals

聲音片段切割

𝐴𝑆1: {1, 𝐾1}𝑆1

𝐴𝑆1:1

𝐴𝑆2:1

𝐴𝑆𝑘:1

𝐴𝑆1:𝑘

聲音特性低階(200毫秒)描述向量

𝐴𝑆2: {1, 𝐾2}

𝐴𝑆3: {1, 𝐾3}

𝐴𝑆4: {1, 𝐾4}

整體演講聲音特性描繪(編碼)

16

有了聲音表達、肢體動作

讓電腦讀演講稿

17

好齁…那也希望能夠透過這樣子的一個方式來…提升我們老師的教學…來檢視各位老師的教學成果，是不是對我們所有的學生齁…有實質的一個幫助，

‧‧‧‧‧‧

所以有了今天週三進修做為開端，未來我們會研議更多積極的策略加強本校的英語教學，好好把我們的孩子提升他的英語力，擁有英語力才有競爭力，

‧‧‧‧‧‧

18

Word2Vec 文字模型

19

Word2Vec – 背景資料庫、爬蟲

20

文字稿特徵計算

好齁那也希望...

N-gram K-meansAll Documents

BOWper Document

… …

… …

… …

編碼: 文章向量

Word2vec

N個前後文字關係模型

21

融合模型

Support vector regression支持向量回歸器

聲音

影像


+分數


文字

22

準確率測試

輔導校長 1

輔導校長 2

自動化評分

Spearman correlation(排序相關係數)

𝒓 = 𝟎. 𝟔𝟔

輔導校長 3

23

一致性測試

輔導校長 2

輔導校長 1

2個月後

輔導校長 2

輔導校長 1

一開始

自動評分

10 筆相同演講影音資料

𝒓 = 𝟎. 𝟓𝟑

𝒓 = 𝟎. 𝟔𝟏

𝒓 = 𝟎. 𝟔𝟓

24

演講 (聲音、影像、文字)

回頭想一下這個儲訓班

25

個案研究

學校校務發展計畫

教育參觀心得

學科測驗

生活札記

即席演講

學校行政事務演習

生活表現

多方面測試

針對演講好壞，只有即席演講那一個項目的單一模型可以被用來建構模型嗎 ?

全方位教育高階主管培訓

26

運用多任務學習方式

每種評分(培訓測驗)都是一種task

Task 1 - 有用 feature



.

.

.

Kernel融合

Multi-task learning多任務學習

多模態行為融合

27

準確度再度上昇

• 個案研究• 學校校務發展計畫• 教育參觀心得• 生活札記

融入哪些測驗培訓評量對於建構演講評分會有顯著效果 ?

• 學科測驗• 生活表現

融入哪些測驗培訓評量對於建構演講評分會沒有用?

不是只是單純看評量任務間的關聯性

28

這是單一年份分析，繼續完整化，期許每年持續性

實務驗證、大規模實行、評估、教甄?

提供教育專家一個全新的決策工具

29

再來-舉個醫療實例 . . .

31

0

2000000

4000000

6000000

8000000

2010 2011 2012 2 0 1 3 2014 2015

2010~2015 THE NUMBER OF EMERGENCY PATIENTS

7,200,000

32

急診檢傷分級

33

台灣急診檢傷與急迫度分級量表

(Taiwan Triage and Acuity Scale, TTAS)

呼吸窘迫

血行動力

意識程度

外傷

體溫

週邊或中樞疼痛程度

自述量表有些問題

34

病人 (疼痛自述=低)

林口長庚內科急診影音資料 (~200人)

病人 (疼痛自述=低)

病人 (疼痛自述=高)

病人 (疼痛自述=高)

Raw audio-videorecording

S1

S2

Sk

. . . MFCCPitch

Intensity

𝑍𝑠1 : [1,𝑛1]

𝑍𝑆𝑐𝑜𝑟𝑒𝑠𝑘

𝑍𝑠2 : [1, 𝑛2]

𝑍𝑠𝑘 : [1,𝑛𝑘]

35

聲音特性、臉部行為特徵計算

聲音、臉部表情 : 高維度特徵計算

S1

36

建模: 融合辨識模型

Support vector classification支持向量分類器

聲音

臉部

Support vector classification支持向量分類器

辨識結果

37

準確率

準確率

高低疼痛辨識 81%

這是用自述當作黃金指標

是否有別的方式評估結果

38

看看一些例子

(低度: 0-3, 中度 : 4-6, 高度 : 7-10)

病人: 高疼痛辨識: 低疼痛

病人: 高疼痛辨識: 中疼痛

病人: 低疼痛辨識: 高疼痛

39

持續性臨床合作、更深入的演算法、更多面向的分析評估

期待提供檢傷機制一個全新的決策工具

40

再舉個精神醫療實例 . . .

自閉症類群觀察量表：分析社交溝通

台大醫院精神部

41

social-communicative neurodevelopmental disorder

• Prevalence: 1 in 68 children (1 in 42 males) diagnosed [CDC2014]

• ASD: “Spectrum” disorder due to the extreme heterogeneity

BSP in Autism 中的角色?

What is Autism?

42

ROLE OF BSP?

自動的分析醫生小孩在ADOS診斷中互動中 social 和 interactive行為

為何?

• Analysis at scale

• Quantitative evidence from signals

43

Autism Diagnostic Observation Schedule

自閉症診斷觀察量表[Lord 2001]

• Subject interacts with a clinician for ~30-45 minutes

• Used to help psychologists diagnose autism (current gold standard)

• Psychologists are trained using stringent training protocol

• 28 codes to rate

44

此項目在整個評估過程中，以任何溝通模式出現的相互向交流出現之絕對數目、以及它在各種當前情境中的分佈。

廣泛的使用口語或非口語行為以達到社會交流(看起來要有相互性意圖、給意見、評論、或是非口語行為

有些相互性社會溝通，但其頻率或數量、或是出現該行為的情境數目較少(不論其非社交性談話)

大多數溝通以物品導向、或是對問去回答、仿說、無特定執迷、無社交性聊天

其中一個指標：相互性社會溝通

主觀式敘述

45

一小段ADOS互動影音

46

Can we?

自動從聲音影像檔中，開發醫生小孩社交互動行為指標，用以分析辨識相互性社會溝通數量

到底是甚麼行為訊號呢?

47

ADOSEmotion Part

Multimodal Turn-taking Behavior

Coordination Time Series

自動從影音訊號產生

雙人互動行為相關性的數值

48

透過可量化和計算的雙人多模態行為互動的互消息量即可預測0.81準確率

49

畫畫看好了

BSP好處之一，你完全掌握你在算甚麼迅速找回去

50

醫生跟小孩互動中的行為透露了更多有關小孩嚴重度的

51

主觀敘述→ 客觀、資料驅動行為訊號

提供全新資料科學角度分析探討自閉症小孩社交行為

Continuing…

We can now start imagining the application of this analytics:

(1) Early detection at home (Parent modeling?)(2) Clinician training progress

More?

52

客觀&大規模人類行為分析

全新的+1決策工具

風險決策行為預測評量診斷

53

自閉症

婚姻治療

情緒計算

演講評分

風險評估

BiiC: BSP跨學科人類行為

訊號研究

fMRI 分析

急診疼痛

精神醫療

教育

心理跟演出藝術

臨床醫療

54

In-car 駕駛人行為分析

生心理疾病的提前風險評估

除了BiiC, 此一領域

疾病病程追蹤

In-home 行為追蹤

In-classroom 學習診斷…on and on…

55

機會

挑戰

MEASURING & QUANTIFYING HUMAN BEHAVIOR: A CHALLENGING ENGINEERING PROBLEM

Data, Algorithms, Interpretable Behavior Analytics, Actionable Insights

CHALLENGING & PUSHGING the BOUNDARY of STATUS QUO across NUMEROUS FIELDS

Data, Algorithms, Interpretable Behavior Analytics, Actionable Insights

56

一路以來的心得

57

人類行為非常複雜

數位資料收集 (非結構化)

訊號處理 (客觀)

機器學習找尋 Pattern (非線性的可預測性)

Contextualize 在各種領域應用

58

未來的展望

59

科技、資料，人類行為訊號客觀分析

提供專家決策工具

顯微鏡: 不只是 “放大”

每一步、每個application domain、每次依資料中開發的技術、每個與跨領域專家合作、對於了解人的行為與內在狀態都更深一層了解。

60

透過這樣的合作可以研究開發幫助社會有意義科技應用

Challenging the status quo/ Pushing scientific boundaryMaking a positive impact

61

BiiC lab @ NTHU EEhttp://biic.ee.nthu.edu.tw

THANK YOU . . .

many COLLABORATORS + the entire BIIC lab

人類行為訊號處理 - airc.org.tºº類行為訊號分析... ·...

Documents

Transcript of 人類行為訊號處理 - airc.org.tºº類行為訊號分析... ·...