1
李祈均 (Jeremy)國立清華大學電機工程學系人類行為訊息與互動計算研究室Behavioral Informatics and Interaction Computation Lab (BIIC)
人類行為訊號處理:
全新跨學科(教育、醫療)人類行為量化分析之決策工具
中華民國精算學會年度會員大會(AIRC)2016.11.30
2
PhD: Dec. 2012 @ USCAdvisor: Prof. Shrikanth Narayanan (Shri)
Thesis TitleBehavioral Signal Processing: Computational Approachesfor Modeling and Quantifying Interaction Dynamics inDyadic Human Interactions
2013 – 2014Identity Protection
Credit Card ProtectionFraud Prevention
2014 –BIIC@EE Dept., National Tsing Hua University
3
透過數位資料收集、整合跨領域人類科學知識、開發訊號處理演算法,對於人類行為量化分析辨識,提供專家全新的決策工具
Seek a window into human mind and traits…
…through engineering approach
S. Narayanan and P. G. Georgiou, “Behavioral signal processing: Deriving human behavioral informatics from speech andlanguage," Proceedings of the IEEE, vol. 101, no. 5, pp. 1203–1233, 2013.
4
訊號處理、機器學習Enabling Technologies
領域專家知識Domain Experts Knowledge
Low level descriptors
Acoustic features
Motion features
Text features
Image features
Speech recognition
Face recognition
Action recognition
Dialog act tagging
Keyword spotting
Text processing
Sentiment Analysis
Affect recognition
Speaker states and
traits
Visual-speech
processing
Interaction modeling
Subjectiveassessment
Internal state & construct
Neuro-developmental disorder
Evidence-based
observational coding
Intervention efficacy
Coder variability
control
Development of coding manual
Self report measure validity
Coding mechanism
Social behavior
Affective behavior
Communicative
behavior
Dyadic behavior
人類訊號處理
5
情緒辨識 Affective Computing
社交行為訊號處理 Social Signal Processing
副語言資訊辨識 Paralinguistic Recognition
生心理病症辨識預測 Physiological/Pathological Disorder Recognition/Prediction
6
深度跨領域合作
人類行為訊號處理Behavior signal processing
QUANTITATIVE (客觀化):QUANTITATIVE EVIDENCE DIRECTLY FROM MEASURABLE SIGNALS
EFFICIENCY (效率化) :HELP DO THINGS THAT EXPERTS KNOW TO DO WELL MORE EFFICIENTLY, CONSISTENTLY & AT SCALE
SUPPLMENTARY (附加性):
COMPLEMENT WITH GOLD STANDARD METHOD WHEN APPROPRIATE
POSSIBILITY (可能性):
TOOLS FOR NOVEL ACTIONABLE INSIGHT DISCOVERY
7
COMPUTING BEHAVIORAL TRAITS & STATES FOR DECISION MAKING & ACTION
…目標...
主觀敘述至客觀訊號聲音、影像、文字
8
舉幾個跨學科實例 . . .
9
教育:
國家教育研究院
10
親子天下(2013,3 月13 日)以「題型僵化?誰把老師考笨了?」為標題,明白指出對於現行教師資格檢定命題方式的疑慮
天下雜誌(2013,5 月29 日)從「被標準答案綁架的老師」來訴說檢定試題題型的僵化,已限制住原有欲評量師資應具備的基本能力。
11
國家教育研究院年度校長儲訓班
12
個案研究
學校校務發展計畫
教育參觀心得
學科測驗
約200位學員/年
目前: 兩位輔導校長評分
有可能電腦一起幫忙評?
生活札記
即席演講
學校行政事務演習
生活表現
13
62.5分 (低)題目:請對學校教師說明你對"教師 評鑑"的看法
89分 (高)題目: 如何提升學生英語能力
14
讓電腦看、聽演講
15
聲音特徵計算
肢體動作特徵計算
𝑙-frame Dense Points Tracking
TRAJ
MBHxy
Each 𝑉𝑚 = A Unit-level (66ms) 𝑞-length Derived Video features
肢體動作的低階(66毫秒)描述向量 整體演講肢體動作表達(編碼)
𝑉1𝑉𝑚
𝑉2
𝑉3
𝑉𝑀
𝑆1
𝑆2
𝑆𝑁
Acoustic LLDs
Each 𝐴𝑆𝑋:𝑌 = A Unit-level (200ms)𝑝-length Dense Acoustic Features
Functionals
聲音片段切割
𝐴𝑆1: {1, 𝐾1}𝑆1
𝐴𝑆1:1
𝐴𝑆2:1
𝐴𝑆𝑘:1
𝐴𝑆1:𝑘
聲音特性低階(200毫秒)描述向量
𝐴𝑆2: {1, 𝐾2}
𝐴𝑆3: {1, 𝐾3}
𝐴𝑆4: {1, 𝐾4}
整體演講聲音特性描繪(編碼)
16
有了聲音表達、肢體動作
讓電腦讀演講稿
17
好齁…那也希望能夠透過這樣子的一個方式來…提升我們老師的教學…來檢視各位老師的教學成果,是不是對我們所有的學生齁…有實質的一個幫助,
‧‧‧‧‧‧
所以有了今天週三進修做為開端,未來我們會研議更多積極的策略加強本校的英語教學,好好把我們的孩子提升他的英語力,擁有英語力才有競爭力,
‧‧‧‧‧‧
18
Word2Vec 文字模型
19
Word2Vec – 背景資料庫、爬蟲
20
文字稿特徵計算
好齁那也希望...
N-gram K-meansAll Documents
BOWper Document
… …
… …
… …
編碼: 文章向量
Word2vec
N個前後文字關係模型
21
融合模型
Support vector regression支持向量回歸器
聲音
影像
Support vector regression支持向量回歸器
+分數
Support vector regression支持向量回歸器
文字
22
準確率測試
輔導校長 1
輔導校長 2
自動化評分
Spearman correlation(排序相關係數)
𝒓 = 𝟎. 𝟔𝟔
輔導校長 3
23
一致性測試
輔導校長 2
輔導校長 1
2個月後
輔導校長 2
輔導校長 1
一開始
自動評分
10 筆相同演講影音資料
𝒓 = 𝟎. 𝟓𝟑
𝒓 = 𝟎. 𝟔𝟏
𝒓 = 𝟎. 𝟔𝟓
24
演講 (聲音、影像、文字)
回頭想一下這個儲訓班
25
個案研究
學校校務發展計畫
教育參觀心得
學科測驗
生活札記
即席演講
學校行政事務演習
生活表現
多方面測試
針對演講好壞,只有即席演講那一個項目的單一模型可以被用來建構模型嗎 ?
全方位教育高階主管培訓
26
運用多任務學習方式
每種評分(培訓測驗)都是一種task
Task 1 - 有用 feature
Task 2 - 有用 feature
Task 8 - 有用 feature
.
.
.
Kernel融合
Multi-task learning多任務學習
多模態行為融合
27
準確度再度上昇
• 個案研究• 學校校務發展計畫• 教育參觀心得• 生活札記
融入哪些測驗培訓評量對於建構演講評分會有顯著效果 ?
• 學科測驗• 生活表現
融入哪些測驗培訓評量對於建構演講評分會沒有用?
不是只是單純看評量任務間的關聯性
28
這是單一年份分析,繼續完整化,期許每年持續性
實務驗證、大規模實行、評估、教甄?
提供教育專家一個全新的決策工具
29
再來-舉個醫療實例 . . .
30
31
0
2000000
4000000
6000000
8000000
2010 2011 2012 2 0 1 3 2014 2015
2010~2015 THE NUMBER OF EMERGENCY PATIENTS
7,200,000
32
急診檢傷分級
33
台灣急診檢傷與急迫度分級量表
(Taiwan Triage and Acuity Scale, TTAS)
呼吸窘迫
血行動力
意識程度
外傷
體溫
週邊或中樞疼痛程度
自述量表有些問題
34
病人 (疼痛自述=低)
林口長庚內科急診影音資料 (~200人)
病人 (疼痛自述=低)
病人 (疼痛自述=高)
病人 (疼痛自述=高)
Raw audio-videorecording
S1
S2
Sk
. . . MFCCPitch
Intensity
𝑍𝑠1 : [1,𝑛1]
𝑍𝑆𝑐𝑜𝑟𝑒𝑠𝑘
𝑍𝑠2 : [1, 𝑛2]
𝑍𝑠𝑘 : [1,𝑛𝑘]
35
聲音特性、臉部行為特徵計算
聲音、臉部表情 : 高維度特徵計算
S1
36
建模: 融合辨識模型
Support vector classification支持向量分類器
聲音
臉部
Support vector classification支持向量分類器
辨識結果
37
準確率
準確率
高低疼痛辨識 81%
這是用自述當作黃金指標
是否有別的方式評估結果
38
看看一些例子
(低度: 0-3, 中度 : 4-6, 高度 : 7-10)
病人: 高疼痛辨識: 低疼痛
病人: 高疼痛辨識: 中疼痛
病人: 低疼痛辨識: 高疼痛
39
持續性臨床合作、更深入的演算法、更多面向的分析評估
期待提供檢傷機制一個全新的決策工具
40
再舉個精神醫療實例 . . .
自閉症類群觀察量表:分析社交溝通
台大醫院精神部
41
social-communicative neurodevelopmental disorder
• Prevalence: 1 in 68 children (1 in 42 males) diagnosed [CDC2014]
• ASD: “Spectrum” disorder due to the extreme heterogeneity
BSP in Autism 中的角色?
What is Autism?
42
ROLE OF BSP?
自動的分析醫生小孩在ADOS診斷中互動中 social 和 interactive行為
為何?
• Analysis at scale
• Quantitative evidence from signals
43
Autism Diagnostic Observation Schedule
自閉症診斷觀察量表[Lord 2001]
• Subject interacts with a clinician for ~30-45 minutes
• Used to help psychologists diagnose autism (current gold standard)
• Psychologists are trained using stringent training protocol
• 28 codes to rate
44
此項目在整個評估過程中,以任何溝通模式出現的相互向交流出現之絕對數目、以及它在各種當前情境中的分佈。
廣泛的使用口語或非口語行為以達到社會交流(看起來要有相互性意圖、給意見、評論、或是非口語行為
有些相互性社會溝通,但其頻率或數量、或是出現該行為的情境數目較少(不論其非社交性談話)
大多數溝通以物品導向、或是對問去回答、仿說、無特定執迷、無社交性聊天
其中一個指標:相互性社會溝通
主觀式敘述
45
一小段ADOS互動影音
46
Can we?
自動從聲音影像檔中,開發醫生小孩社交互動行為指標,用以分析辨識相互性社會溝通數量
到底是甚麼行為訊號呢?
47
ADOSEmotion Part
Multimodal Turn-taking Behavior
Coordination Time Series
自動從影音訊號產生
雙人互動行為相關性的數值
48
透過可量化和計算的雙人多模態行為互動的互消息量即可預測0.81準確率
49
畫畫看好了
BSP好處之一,你完全掌握你在算甚麼迅速找回去
50
醫生跟小孩互動中的行為透露了更多有關小孩嚴重度的
51
主觀敘述→ 客觀、資料驅動行為訊號
提供全新資料科學角度分析探討自閉症小孩社交行為
Continuing…
We can now start imagining the application of this analytics:
(1) Early detection at home (Parent modeling?)(2) Clinician training progress
More?
52
客觀&大規模人類行為分析
全新的+1決策工具
風險決策行為預測評量診斷
53
自閉症
婚姻治療
情緒計算
演講評分
風險評估
BiiC: BSP跨學科人類行為
訊號研究
fMRI 分析
急診疼痛
精神醫療
教育
心理跟演出藝術
臨床醫療
54
In-car 駕駛人行為分析
生心理疾病的提前風險評估
除了BiiC, 此一領域
疾病病程追蹤
In-home 行為追蹤
In-classroom 學習診斷…on and on…
55
機會
挑戰
MEASURING & QUANTIFYING HUMAN BEHAVIOR: A CHALLENGING ENGINEERING PROBLEM
Data, Algorithms, Interpretable Behavior Analytics, Actionable Insights
CHALLENGING & PUSHGING the BOUNDARY of STATUS QUO across NUMEROUS FIELDS
Data, Algorithms, Interpretable Behavior Analytics, Actionable Insights
56
一路以來的心得
57
人類行為非常複雜
數位資料收集 (非結構化)
訊號處理 (客觀)
機器學習找尋 Pattern (非線性的可預測性)
Contextualize 在各種領域應用
58
未來的展望
59
科技、資料,人類行為訊號客觀分析
提供專家決策工具
顯微鏡: 不只是 “放大”
每一步、每個application domain、每次依資料中開發的技術、每個與跨領域專家合作、對於了解人的行為與內在狀態都更深一層了解。
60
透過這樣的合作可以研究開發幫助社會有意義科技應用
Challenging the status quo/ Pushing scientific boundaryMaking a positive impact
61
BiiC lab @ NTHU EEhttp://biic.ee.nthu.edu.tw
THANK YOU . . .
many COLLABORATORS + the entire BIIC lab
Top Related