ライフログデータとしての笑顔の蓄積システムの提案wataru環境情報学部　 B2親： hiroponさん， guroさん

1

概要• 笑顔を検知し、新たなライフログデータとして笑顔データを蓄積するシステムを提案する

2

背景• 笑顔には良い効果が多々ある–健康によい–ポジティブになれる–周囲をしあわせに

• 笑顔をつくることで人間は幸せになれる

3

笑顔の検知を活用した研究• Happiness Counter

– 笑顔は人を幸せにするのか？笑顔促進支援システム– Hitomi Tsujita, Jun Rekimoto, “HappinessCounter:Smile-Encouraging

Appliance to Increase Positive Mood”, ACM CHI2011, alt.chi.

• 笑顔認識させるゲーミフィケーションを利用したシステムの提案– Hori, Yukari, et al. "Communication pedometer: a discussion of gamified communication

focused on frequency of smiles." Proceedings of the 4th Augmented Human International Conference. ACM, 2013.

4

問題意識• 笑顔を蓄積し他のライフログデータと組み合わせて活用する研究が進んでいない

– ライフログビデオから顔表情認識を用いて印象的なシーンを抽出• Nomiya, Hiroki, Atsushi Morikuni, and Teruhisa Hochin. "Impressive Scene Detection from

Lifelog Videos by Unsupervised Facial Expression Recognition."Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD), 2013 14th ACIS International Conference on. IEEE, 2013.

– 人間の表情を活用するライフログ閲覧• 　　 Takai, Hiromu. "人間の表情を活用するライフログ閲覧 ." WISS2013, 2013.

5

目的• 笑顔データとほかのライフログデータを組み合わせたものを用いて活用する

6

活用例• さまざまなライフログデータと笑顔データを組み合わせることでデータにタグ付けをする• 特定の行動における笑顔頻度を分析し，頻度が低い場合に，笑顔をつくらせる

7

今回やること• ライフログデータとして笑顔を蓄積

8

笑顔をとる方法• PCによる笑顔検知• スマートフォンによる笑顔検知• Google Glassによる笑顔検知

9

本研究における手段顔検出

笑顔判定ライフログデータとして記録・蓄積

10

笑顔検出• 学習させた顔識別器により顔領域を抽出

11

笑顔判定• 顔領域内で学習させた笑顔識別器により笑顔検出を行う• 連続したフレームで笑顔検出された場合にスクリーンショットを撮影– 1/4秒以内にもう一度検出された場合は連続された笑顔とみなす

12

記録• 笑顔データとしてWeb画面スクリーンショットをローカルフォルダに保存・蓄積

13

実装環境• PC：MacBookAir• カメラ：内蔵Webカメラ• 使用言語： C++• ライブラリ： OpenCV

14

システム構成図

15

デモ16

17

18

使ってもらった得た意見• 笑顔検出はおおむねできていたと思うが、

PCとの距離が遠いと笑顔が検出されていないときもあった• システムを使用する場合に自分が笑顔かどうか気になって、ついつい笑顔をつくってしまう

19

今後の展望• 他のライフログデータと対応させることによる活用• 笑顔以外の表情の収集• 収集したデータをデータベースに蓄積• 評価をとる–笑顔検出精度の評価–ユーザにとって有益なライフログデータを収集できたか

20

今回学習したこと• OpenCVライブラリの使い方• C++を使った実装力• 笑顔検知の条件決定–実験のくりかえし

• 突然の PCクラッシュ–メンタルの強さとしぶとさを学ぶ

21

まとめ• ライフログデータとして笑顔を検知し蓄積するシステムを提案した

22