HASC チュートリアル 2013 Part 1

HASCとは

行動認識技術の概要

HASC Challenge の紹介

名古屋大学 河口研究室

修士1年 坂 涼司

http://hasc.jp/

HASCって何？

HASC

Human Activity Sensing Consortium

人間行動理解のための装着型センサによる大規模データ構築

HASCの目的

人間行動の認識・理解の実現

大規模データベースの構築

行動認識技術の実用化

行動認識って？

機械が人間の行動を自動的に認識

モバイル端末は多様なセンサを内蔵

マイク・カメラ・加速度センサ・磁気センサ など

人の行動をセンサで測定

行動に関するデータを取得

幅広い分野で応用可能

医療・スポーツ・日常生活 など

行動認識って？

センサ信号 を取得

センサデバイスを 携帯しながら活動

行動を認識

異常検知

ナビゲーション

勤怠管理

健康増進 ライフログ

機器・環境の制御

行動認識に関する研究

Context Awareness

by Analysing Accelerometer Data

[Cliff Randell, 2000]

歩く、しゃがむなどを、加速度値の各軸の

二乗平均平方根を用いて識別

行動認識に関する研究

Tracking Free-Weight Exercise [Keng-hao

Chang, Ubicomp 2007]

数種類のダンベル体操の回数をモニタリングし、

バランスが良い運動を支援

時系列パターンを窓ごとの特徴量(周波数成分, 平均,

分散, 各軸の差分値など)から, 9種の行動を識別

行動認識に関する研究

装着型センサの姿勢推定に基づく

移動軌跡の可視化

センサ値からデバイスの姿勢を推定

姿勢に基づいて移動量を算出

行動認識に関する動向

行動認識分野では

歩数

睡眠の状況

活動量（カロリーの推定）

程度が実現できているのみ。

スマートホンの登場により、多様なセンサを使い

より高度な認識技術の実現が期待できる

行動認識の流れ

学習フェーズ

機械学習

平均

分散

標準偏差

エネルギー

・・・etc

センサ情報 特徴量抽出

学習結果

正解情報

歩く

行動認識の流れ

認識フェーズ

センサ情報

学習結果 比較

認識

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

機械学習

正解情報

学習結果

行動認識の流れ

学習フェーズ

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出 センサ情報

センサ情報

加速度

角速度

地磁気

位置(GPS)

青：X軸

赤：Y軸

緑：Z軸

3軸加速度

3軸角速度

データの具体例

同じ人

異なる行動

機械で識別

センサ情報

歩く

走る

階段下り

データの具体例

異なる人

同じ行動 (歩く)

個人差が存在

センサ情報

Aさん

Bさん

Cさん

機械学習

正解情報

学習結果

センサ情報

行動認識の流れ

学習フェーズ

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

特徴量抽出

特徴量とは？

その状況をよく表現する特徴的なパラメータ

平均・分散・パワースペクトル・エネルギー・・etc

例：歩く・走る

平均は同程度

> 平均は二つの動作を区別しない

走るはばらつきが多い

> 分散が特徴量として有効

特徴量の選択・開拓が重要

歩く

走る

特徴量抽出

特徴量の計算手順

ある領域に焦点を絞る (窓)

その領域の特徴量を計算

窓をスライド

窓の幅が重要

歩行の周波数は2Hz(0.5s)程度

窓幅が小さすぎると行動の

特徴を捉えられない

窓

窓をスライド

学習結果

センサ情報

行動認識の流れ

学習フェーズ

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

機械学習

正解情報

機械学習

機械学習によってモデルを作成

決定木

ニューラルネットワーク

k-近傍法

サポートベクターマシン

しきい値モデル

複数組み合わせもOK！

機械学習ごとに様々なパラメータが存在

モデルとは？

HASC2010 チュートリアル資料より抜粋

機械学習

センサ情報

行動認識の流れ

学習フェーズ

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

学習結果

学習結果 比較

歩く

行動認識の流れ

認識

こ

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出 センサ情報

ここまでは一緒

認識フェーズ

歩く

行動認識の流れ

認識フェーズ

センサ情報

認識

学習結果 比較

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

認識

ユーザ独立

学習モデルに対象ユーザのデータが含まれない

汎用性が高い

ユーザ依存

学習モデルに対象ユーザのデータが含まれる

高い認識率

本人のデータを含むため

行動認識の流れ

認識フェーズ

センサ情報

学習結果 比較

平均

分散

標準偏差

エネルギー

・・・etc

特徴量抽出

歩く

認識

行動認識の歴史

初期

試行錯誤の時代

主に加速度信号を処理

音声・画像認識の手法が存在

他分野の手法をそのまま適用

中期

アプリケーションと精度改良の時代

加速度情報以外も利用

対象とする行動の種類も増加

行動認識の歴史

ACM Digital Libraryより

0

100

200

300

400

500

600

700

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

# of paper 試行錯誤の時代

アプリケーションと 精度改良の時代

iPhone,Android による多様化？

行動認識の課題

人に関する情報処理

音声信号処理、画像処理、言語処理

行動情報処理

情報処理技術の実用化

研究室環境

限られた被験者・状況

実際の環境

大規模なユーザ・多様な状況

大きなギャップ・壁

人に関する情報処理

音声 画像 言語 動作・動き

コーパス PASL-DSR,UT-ML, ATR,TMW,RWCP, PASD,CIAIR-DB

顔,歩行者,放送映像, TREC.PASCAL,文字

日本語話し言葉 コーパス /

KOTONOHA ？？？

アルゴリズム HMM/DP 顔認識

オプティカルフロー 圧縮・伸張

形態素解析 係り受け解析

他分野からの流用

ツールキット HTK (HMM ToolKit)

Julius OpenCV / mist Chasen / Cabocha 個別研究

関連国内研究会 SP / SLP IE / CVIM / PRMU NL / SLP UBI

国際会議 ICASSP・

InterSpeech ICCV / ICPR

NAACL / ACL / COLING

UbiComp/ ISWC /

Pervasive

行動認識技術の実用化に向けて

実世界で行動認識技術を使いたい

大規模なユーザが対象

学習用データが必要

大規模行動データの構築

アルゴリズムの共有

ツールの共有

HASC Challenge を開催

HASC Challenge

参加者が大規模データの構築に貢献

収集したデータをコーパスとして皆で共有

31

HASC corpus

HASC Challenge 2010 4897ファイルのデータを収集！

HASC Challenge 2011 7060ファイルのデータを収集！

HASC Challenge 2012 9721ファイルのデータを収集！

HASC Challenge 2013

スケジュール

5/31 データ提出締切

6/** Advanced チュートリアル

10/21 シンポジウム

参加方法

Hub.hasc.jpにアクセス

http://hub.hasc.jp/

ユーザー登録

各項目は英語で記述されていますが， 登録は日本語を推奨

HASC Challenge内容

Challenge 0

行動データの提供

Challenge 1

6種類の行動を識別 静止・歩行・ジョギング・スキップ・階段上がり 階段下り

Challenge 2

行動解析 歩数・歩幅・階段1段の高さを推定

Challenge 3

提案 詳しくは http://hasc.jp/hc2013/index.html へ

HASC Logger

HASCが開発する行動データ収集ツール

収集データ

加速度・地磁気・角速度・位置・気圧・光

サンプリングレート

データ収集時間

収集データをアップロード

iPhone・iPod touch・Android アプリ

HASC Tool

HASCが開発する行動認識ツール

行動データ編集

信号処理

機械学習

ラベル付与

大規模データ処理

HASC Toolの種類

ダウンロード版：お試し版

Sourceforge版：開発者向け

参考文献

（英語論文）

Bao, L. and Intille, S. S. Activity Recognition from User-Annotated Acceleration Data. Proc of PERVASIVE 2004, pp.1-17, 2004.

Chang, K., Chen, Y. M. and Canny, J. Tracking Free-Weight Exercises. Proc of ACM UbiComp 2007, pp.19-37, 2007.

Siewiorek, D., Smailagic, A., Furukawa, J., Krause, A., Moraveji, N., Reiger, K., Shaffer, J. and Wong, L. F. Sensay: A Context-Aware Mobile Phone. Proc of ISWC 2003, pp.248-249, 2005.

Lester, J., Choudhury, T., Borriello, G. A Practical Approach to Recognizing Physical Activity. Proc of PERVASIVE 2006, Vol.3968, pp.1-16, 2006.

Preece, S., Goulermas, J. Y., Kenney, L., Howard, D., Kenneth, M. and Robin, C. Activity Identification Using Body-mounted Sensors a Review of Classification Techniques. Physiological Measurement, Vol.30, No.4, pp.1-33, 2009.

（日本語論文）

倉沢央, 川原圭博, 森川博之, 青山友紀. センサ装着場所を考慮した３軸加速度センサを用いた 姿勢推定手法. 情処研報2006-UBI-11, pp.15-22, 2006.

寺田努. ウェアラブルセンサを用いた行動認識技術の現状と課題．コンピュータソフトウェア 論文誌，Vol.28, No.2, pp.43-54, 2011.

河口信夫, 他. HASC Challenge2010 :人間行動理解のための装着型加速度センサデータコーパスの 構築． 情報処理学会マルチメディア分散協調とモバイル(DICOMO 2011), pp.69-75, 2011.

河口信夫, 他. 大規模人間行動センシングコーパス HASC2012corpus の概要とその応用．情報処理学会マルチメディア分散協調とモバイル(DICOMO 2012), 2012.