感情心理空間の学習に関する研究

早坂研究室岡田貴弘

Background• 人間と同等の能力を持つソフトウェアやロボットが開発されてきている–既に実用化されたものも–コミュニケーションを行う高度なものも

2

©SoftBank

Pepper

©IBM

Watson

Background• コミュニケーションの方法–言葉を交わす–体を使っての表現–音や光–雰囲気，空気を読む

• 円滑なコミュニケ―ションのメカニズム–欠落した情報を推測して補う–理解に必要な背景を読みとる

3

能力を習得する方法や過程が重要となってくる

Purpose• ロボットが円滑なコミュニケーションを行うために–本研究では，顔写真から感情を読み取る過程について考察する

• 計算論的神経科学のアプローチで考察–器官を情報処理と見立てる–生物学および心理学的知見と機械学習で得られたモデルとの比較

4

Process -Overview-

5

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

5

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

Process -Overview-

Process

5

( (𝑥0 𝑦0 )(𝑥1 𝑦1 )

⋮(𝑥65 𝑦65 )

) (𝑎0𝑎1⋮𝑎64

)特徴点抽出

FaceTracker 正規化・選別

Face Model• 線画表情の標準図形の模式図–本研究も倣う

Hiroshi Yamada

Visual information for categorizingfacial expression of emotionsApplied Cognitive Psychology 7 (1993) pp.257-270

6

Face Data

• JAFFE Database–日本人女性の顔のデータベース– 6種類の感情表現で数値的に評価されている–合計 210枚程度

The Japanese Female Facial Expression Databasehttp://www.kasrl.org/jaffe.html

9

Process -Overview-

7

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

7

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

Process -Overview-

Process

7

(𝑎0𝑎1⋮𝑎64

)2

大量のデータ列を自己組織化マップで射影

(𝑎0𝑎1⋮𝑎64

)𝑛

(𝑎0𝑎1⋮𝑎64

)1

⋮

8

• 自己組織化マップ (SOM)–多次元のデータの関係を低次元に射影する–データの中のまとまりを抽出できる

Self-Organizing Maps

Result• 表情が近いものが滑らかに集まっている–口の形–眉と目の開き

9

Process -Overview-

10

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

Process -Overview-

10

Process

10

心理空間と比較

快‐不快

覚醒度

Affective Space• 心理空間–表情認知の次元説の立場– cf. 感情認知のカテゴリ説–本研究の考察は「快－不快」「覚醒度」の二次元の空間について行う

James A. Russel, Merry Bullock

Multidimensional Scaling of Emotional Facial Expressions: Similarty From Preschoolers to AdultsJournal of Personality and Social Psychology 48 (1985) pp.1290-1298

11

●:喜び　　● :悲しみ　● :驚き　　● :怒り　　● :嫌悪　　 (恐怖は見られない )

Result• 各感情表現がまとまりとして表れている–恐怖の感情は無い

• 覚醒度が低い感情が上方左寄りに集中–そこから放射状に高い–快―不快は見られない

12

低

高高

Process -Overview-

13

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

13

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

Process -Overview-

Process

13

強化学習

Ah! She’s Happy.

Reinforcement Learning• 強化学習–入力と出力に対する評価の組からなる訓練データが与えられる

–行動を選択する関数や入出力の関係を学習–行動の正解は与えられないが，その行動による報酬は得られる

– cf. 教師有り学習，教師無し学習

14

Learning Model• 入力は SOM 内の座標での値–行動として感情表現のベクトルを選択する

• 報酬は実際の評価値と行動の一致度–実世界では，顔の表情によって行動を変え，それに対する相手の反応に相当

15

※s は SOM 内の座標， a は感情表現のベクトル

Result• 感情によってはまとまりを検知している–無表情は広いまとまり–一部の感情は検知できず

• 感情を判別する能力を習得できた

16●:悲しみ　● :驚き　　● :怒り　　● :無表情

Conclusion• 人が顔写真から感情表現を判別する過程–機械学習を用いたモデル化–学習を 2 段階に分けて，別の学習法を適応• 前半　後頭部で人の顔情報を保持する• 後半　前頭部で学習を行う

• SOMで顔の形状から覚醒度が見られた–快‐不快は視覚以外の情報である可能性

17

Issues• 顔写真は日本人女性数人のもの–男性や日本人以外の写真を用いる場合

• 表情のモデルとして，眉，目，鼻と口の位置を用いた–湾曲性や開示性，口の傾斜性，眉・目の傾斜性で考察した文献がある

–さらなる考察が求められる

18

Environment• 開発環境– Eclipse Luna– PyDev プラグイン

• 使用言語– Python 2.7.7

• 使用ライブラリ– OpenCV 2.4.9, NumPy 1.8.1, Matplotlib

1.3.1,– FaceTracker, pyFaceTracker, SOMPY

19

Questions & Answers• 参照文献–『自己組織化マップ 改訂版』

T.コホネン–『「顔」研究の最前線』

竹原卓真，野村理朗–『強くなるロボティクス・ゲームプレイヤー

の作り方　～実践で学ぶ強化学習～』 八谷大岳，杉山将

20

FaceTracker• FaceTracker– C++とOpenCVを用いた検出ライブラリ– https://github.com/kylemcdonald/FaceTracker

• pyFaceTacker– FaceTrackerの Pythonによるラッパー– https://bitbucket.org/amitibo/pyfacetracker

Simon Lucey, Yang Wang, Jason Saragih, Jeffery F. Cohn

Non-rigid face tracking with enforced convexity and local appearance consistency constaintImage and Vision Computing 28 (2010) pp.781-789

30

Process -Overview-

31

心理空間

感情表現

(𝑎1𝑎2⋮𝑎𝑛

)特徴点ベクトル 自己組織化マップ顔写真

32

顔写真

特徴点情報

心理空間 感情表現

自己組織化マップ

手順 (1)

正規化されたベクトル

手順 (2)

手順 (3)

手順 (5)手順 (4)