DEIM Forum 2016 G4-5

多次元時系列データからのモーション検出・分類手法

菅野 滉介† 奥 健太†† 川越 恭二††

† 立命館大学情報理工学研究科 〒 525–8577 滋賀県草津市野路東 1丁目 1-1

†† 立命館大学情報理工学部 〒 525–8577 滋賀県草津市野路東 1丁目 1-1

E-mail: †sugano@coms.ics.ritsumei.ac.jp, ††oku@fc.ritsumei.ac.jp, † † †kawagoe@is.ritsumei.ac.jp

あらまし 近年モーションキャプチャの普及により様々な分野で活用されている．モーションキャプチャデータ（MCD）

は，関節等の様々な部位の位置や角度に関する多次元時系列データとして扱われる．しかし，アプリケーション毎に

異なる動きの特徴を用いるため，既存手法では精度や処理速度の観点から，MCDをスポーツトレーニング等のアプ

リケーションに適用することが難しい．そこで，本研究では，多次元時系列データ類似度算出方法である A-LTKを

拡張した新たな部分シーケンスマッチング手法 A-LTK for MCDを提案する．

キーワード モーションキャプチャ，データマイニング，時系列データ

1. は じ め に

近年，センサテクノロジの進化により，様々なストリーミン

グデータが取得可能となった．中でもモーションキャプチャは，

映画や CG，ゲーム，医療，スポーツ等の様々な分野で活用さ

れている．

モーションキャプチャデータ（MCD）を用いた既存の研究に

は，映像を用いた方法や動作モデル/骨格モデルを用いた方法

がある．後者の動作モデル/骨格モデルを用いる研究では，関

節等の様々な部位の位置や角度に関する多次元時系列データと

してMCDが扱われる．しかし，アプリケーション毎に異なる

動きの特徴を用いるため，既存の手法では精度や処理速度の観

点から，MCDをスポーツトレーニング等のアプリケーション

に適用することが難しい．

そこで，本研究では，多次元時系列データ類似度算出方法

である A-LTK [1] と，A-LTK を拡張した A-LTK2.0 [2] を提

案した．A-LTKは，βと呼ばれるパラメータを変えることで，

精度と計算コストを制御可能な類似度算出手法である．一方，

A-LTK2,0 では，A-LTK を部分シーケンスマッチングに適用

するため，二段階の処理を行い精度と計算コストのバランスを

取った．

しかし，MCDは関節の位置や角度に関する 3次元データの

集合として表されるため，MCDを通常の多次元時系列データ

として扱う既存方法で正確な精度を求めるためには，多くの処

理時間が必要となる．そこで，本論文では，特徴のある関節集

合ごとに類似度を算出することで精度と処理効率を向上させる

部分シーケンスマッチング手法である A-LTK for MCD を提

案する．

2. 関 連 研 究

本章では，モーションの検出についての研究を述べる．2. 1

節では，映像を用いた研究について述べ，2. 2節で動作モデル/

骨格モデルを用いた研究について述べる．最後に 2. 3多次元時

系列データの分類手法に関する研究について述べる．

2. 1 映像を用いた研究

Caoら [3]は，人間行動の検索について研究を行った．彼ら

は，行動パターンを抽出するため，3Dシフトに基いた映像のマ

イニング手法を提案した．Turagaら [4]は，機械学習によって

映像から人間の行動が認識できるか調査を行った．この調査は，

行動のモデリング，low-levelの特徴抽出，活動のモデリングの

3 つの視点から行われている．Ren ら [5] は，カメラの画像か

ら深度情報を用いたハンドジェスチャーの認識手法を提案した．

彼らは，Kinectから取得した深度情報を用いて，提案手法であ

る Finger-Earth Mover’s Distance(FEMD)を評価した．

これらの研究では，映像を用いた人間行動の認識を使って，

様々な手法やアプリケーションが提案されている．しかし，本

研究では，映像ではなく動作モデル/骨格モデルを用いた人間

の行動を用いるため，その点で異なっている．

2. 2 動作モデル/骨格モデルを用いた研究

Rptis ら [6] は，Kinect から得られたスケルトンデータか

ら，ダンスのジェスチャーを分類する手法を提案した．彼らは，

skeleton-tracking 手法という特徴ベクトル抽出手法を開発し，

その特徴ベクトルからダンスのジェスチャーを推測した．彼ら

は，16個の節から構成されているスケルトンデータを用いて評

価を行った．Zhangら [7]は，ゴルフのスイングを評価するた

めのシステムを提案した．彼らは，Kinectから得られたスケル

トンデータから特徴を抽出し，隠れマルコフモデルを用いるこ

とで評価を行った．Kapadiaら [8]は，モーションデータベー

スと検索システムを提案した．彼らも，入力に Kinectから得

られるデータをクエリとしている．彼らは，高速な検索を可能

とするために索引付に用いる幾つかのキーを開発した．

これらの研究では，Kinectのスケルトンデータに特化した分

類方法が開発されている．

2. 3 多次元時系列データの分類研究

Matsubaraら [9]は，ストリームデータから意味のあるモー

ションパターンを検索し，異常なデータを検出する手法を提案

した．彼らの提案した Stream Scanは，複数の情報を持つスト

リームデータを監視する．この手法では，1次元の時系列デー

図 1 A-LTK の例

タを分類する手法を組み合わせることで，多次元に対応してい

る．Hoら [10]は，サイクロンの軌道を多次元時系列データと

し，それを分類する手法を提案した．彼らは，次元数を減らす

ために Isometric Feature Mapping(ISOMAP)という手法を開

発し，類似度算出に LCSを用いて評価を行った．

しかし，これらの研究では 1桁程度の少ない次元数のデータ

セットを用いて評価が行われている．本研究では，MCDのよ

うな 2桁以上の次元数の多次元時系列データを対象としている．

3. 従 来 研 究

時系列データ間の類似度算出手法は多く提案されている．例

としてユークリッド距離やマンハッタン距離等が存在する．し

かし，これらの手法は部分シーケンスマッチングに適用できな

い．そこで，部分シーケンスマッチングにも適用可能な類似度

算出手法が提案されてきた．

3. 1 DTW

DTW は有名な時系列データ間の類似度算出手法である．

DTWは，高い精度を得ることが可能だが，O(n2)なため計算

コストが大きいことが知られている．そのため，DTWの計算

コストを減らす手法が多く開発されている．

3. 2 AMSS

中村ら [11] は，Angular Metrics for Shape Similarity

(AMSS)を提案した．AMSSは，DTWと同様に動的計画法で

あり，以下の式で定義される．

AMSS(∆S1,∆S2)

=

0

if length(∆S1) = 1 and length(∆S2) = 0,

−∞if length(∆S1) = 1 or length(∆S2) = 1,

Sim(H(∆S1),H(∆S2))+

max(AMSS(∆S1), R(∆S2)),

AMSS(R(∆S1),∆S2)),

AMSS(R(∆S1), R(∆S2)) otherwise.

3. 3 A-LTK

A-LTK(Multi-dimensional time series Approximation with

use of Local features at Thinned-out Keypoints) [1]は，処理

時間を軽減可能なように考案された時系列データの類似度算出

方法である．A-LTKの特徴は，2つある．まず，時系列データ

を間引くことで処理時間を軽減する．次に，その間引いたデー

タを用いて，局所特徴ベクトルを生成し，新たな時系列データ

を構築する．

3. 3. 1 keypoints

時系列データを間引き，残った時刻点を keypoints と呼ぶ．

keypointsの選別には，2つの方法がある．

まず，前後の点との差分を取る．その差分がある閾値以上の

時にその点を keypointsとする．次に，二階差分を取る．その

二階差分がある閾値以下の時にその点を keypointsとする．

以下に示す β は，抽出する keypoints の数を制御するため

に使われる．

β =keypointsの数

元の時系列データの時刻点の数(1)

3. 3. 2 局所特徴ベクトル

次に，3つの局所特徴ベクトル生成方法を記述する．一つ目

である式 (2)は，ある点の前後の点を結合し，新たなベクトル

を構築する．二つ目の方法である式 (3)は，前後の点との差分

を取り，局所特徴ベクトルを構築する．三つ目の手法である式

(4)は，先述した手法の組み合わせである．

pBi =(vi−p, ..., vi, ..., vi+p) (2)

q Δi =(vi−q+1 − vi−q, ..., vi − vi−1, (3)

vi+1 − vi, ..., vi+t − vi+t−1)

pB + q Δi =(pBi, q Δi) (4)

A-LTK では，類似度算出にコサイン類似度を用いる．

AS =< a1(t = KP1), a2(t = KP2), ..., ar(t = KPr) > は，

A-LTKによって処理されたベクトルであり，ak(t = KPk)は

時刻点 k における keypoint とする．この時 AS1 と AS2 と

いう 2 つの特徴ベクトル間の類似度を算出するための関数

DA−LTK(A,B)は，以下のように定義される．

DA−LTK(AS1, AS2)

=

∞if length(AS1) = 0 and length(AS2) = 0,

0

if length(AS1) = 0 or length(AS2) = 0,

COS(H(AS1), H(AS2))+

(max(DA−LTK(AS1, R(AS2),

DA−LTK(R(AS1), AS2),

DA−LTK(R(AS1), R(AS2))

/(length(AS1) + length(AS2)− 1) otherwise.

DTW や AMSS と同じような数式で表現されるが，正規化を

行う点で異なっている．

3. 4 A-LTK2.0

A-LTKは，βというパラメータを用いて精度と計算コスト

の制御を行っていた．しかし，βパラメータが 100%に近い場

合 DTWや AMSSのような既存手法と同じ結果となる．また，

部分シーケンスマッチングへの適用を考慮した際に小さすぎる

βの値も類似度の算出をより困難にさせる．そこで，我々はβ

パラメータに着目し，A-LTK を拡張した部分シーケンスマッ

チング手法である A-LTK2.0を提案した．

3. 4. 1 ‘Coarse to Fine‘手法

A-LTK2.0では，部分シーケンスマッチングを二段階で行う．

以下に A-LTK2.0 の基本的なアイディアを示す．二段階処理

に 2 つのタイプの A-LTK を用いる．一段階目は，β の値を

小さくした A-LTK である Coarse A-LTK を用いる．Coarse

A-LTKでは，少ない数の keypointsを抽出する．また，Coarse

A-LTKでは，閾値εを設定し，その閾値よりも類似度が低い

部分シーケンスをフィルタリングする．二段階目は，β の値

を大きくした Fine A-LTK を用いる．Fine A-LTK では，一

段階目のフィルタリング処理で残った部分シーケンスについて

keypointsを一部復元し，より詳細なマッチングを行うことで，

精度と計算コストのバランスを取る．

図 2 A-LTK2.0

3. 4. 2 部分シーケンスマッチング

A-LTK2.0における部分シーケンスマッチング方法について

記載する．

A-LTK2.0 では，Coars A-LTK と Fine A-LTK で異な

るパラメータを使ったスライディングウィンドウを行う．

Coarse A-LTKで用いるパラメータをβCoarse，WsizeCoarse，

SlengCoarse とする．Fine A-LTK で用いるパラメータを β

Fine，WsizeFine，SlengFine とする．異なるβパラメータを

用いた A-LTKによって間引かれるためスライディングウィン

ドウに用いるパラメータが異なる．その元となるウィンドウサ

イズWsizeは，入力クエリの時刻点の数とする．

3. 5 A-LTK2.0における評価実験

この実験では，社交ダンス（ルンバ）のデータセットを用い

て実験を行った．各データの次元数は，57次元 (19*3)で構成

されている．このデータセットは，ルンバの基本ステップが 41

個あり，それら全てを含む長いシーケンスのデータが 1つ存在

する．それぞれのデータの長さは，基本ステップの平均が 1348

フレーム，長いシーケンスが 3448フレームである．これらの

データを元にDTW，AMSS，A-LTKの各手法にスライディン

グウィンドウ方式を適用し，比較を行った．

3. 6 実 験 結 果

図 3より，A-LTK2.0が他の手法より良い精度となった．し

かし，図 4より，A-LTK2.0では二段階の処理を行うため，A-

LTKに処理時間の面で劣る結果となった．そこで本論文では，

MCDの特徴を活かす手法であるA-LTK for MCDを提案する．

図 3 精 度

図 4 処 理 時 間

4. A-LTK for MCD

本章では，A-LTKをMCDの特徴に合わせ拡張した A-LTK

for MCDについて記載する．

4. 1 基本的考え方

MCDは，関節の位置や角度に関する 3次元データの集合と

して表される．そのため，MCDを通常の多次元時系列データ

として扱う既存手法で正確な精度を求めるためには，多くの処

理時間が必要となる．そこで，A-LTK for MCDでは，A-LTK

をよりMCDに適したマッチングとするため，MCDを腕，上

半身，下半身，脚等の複数のパーツのデータに分け，部分的な

特徴点を用いることで精度向上と処理時間の削減を目指す．

4. 2 MCD

MCDは，J 個の関節を持ち，各関節は xyzの 3次元の位置

情報または角度情報を持っている．この時，MCDの次元数は

(J ∗ 3)次元となる．また，MCDはM 個の時刻点を持ってい

る．時刻点同士の間隔を s秒とした時，一つのデータの長さは

(M ∗ s)秒で表される．4. 3 手 法

A-LTK for MCDにおける部分シーケンスマッチング手法の

定義を以下に記載する．

多くの動きを含む長いシーケンスのMCDを T とする．T の

時刻点の数をNt とした時，T =< t1, t2, ...tNt >となる．同様

に，部分シーケンスマッチングのクエリとして用いるデータを

Q，Qの時刻点の数を Nq とした時，Q =< q1, q2, ...qNq >と

なる．この時，Nt > Nq を必ず満たす．

まず，任意の j(1 < j < J)個の関節からなるデータ Tsubjoint

とクエリ Qsubjoint 作成する．次に A-LTK2.0にスライディン

グウィンドウ方式を適用し，Tsubjointの中からQsubjointと類似

度の高い部分を抽出する．異なる関節集合 subjointごとに類似

度の高い部分 Tsubjoint が抽出される．抽出された Tsubjoint か

ら，もっとも類似した部分シーケンスを求めるために Tsubjoint

の集約処理を行う．集約処理には，最も単純な集約処理である

関節集合を一つの多次元データとして扱う方法を使用すること

とする．

4. 4 評 価 方 法

任意の関節からなるデータのパターンを複数用意し，その

データを元に部分シーケンマッチングが可能かどうか評価を行

う．比較手法として，A-LTK2.0や A-LTK等の類似度算出手

法だけでなく，既存次元圧縮手法である SVD や PCA を適用

したデータを用いた A-LTK2.0との比較も行う．

しかし，任意の関節からなるデータのみで部分シーケンスの

マッチングが可能であるかの妥当性の検証を最初に行うことは

難しい．そこで，まずは完全なマッチングが可能であるかの検

証を行う．任意の関節からなるデータのみで類似度算出が可能

かどうかを判断する予備実験を行った．

5. 予 備 実 験

A-LTK for MCDでは，特徴のある関節のデータのみを用い

ることで次元数を減らす．そこで，どの関節が最もMCDとし

ての特徴を示しているのか調べる実験を行った．なお，MCD

を用いた完全なマッチングを行い，精度の高い関節の集合のい

くつかを A-LTK for MCD を用いた部分シーケンスマッチン

グにて評価を行う．

5. 1 データセット

社交ダンス（ルンバ）のデータセットを用いて予備実験を

行った．このデータセットは，予め 11カテゴリに分類された

41個のデータが存在する．各データの関節数 J は 19で，次元

数は 57(19 ∗ 3)である．また，データの平均時刻点数Mavg は

1341.54 個で，平均の長さは 13.42 秒である．図 5 は，MCD

の例である．

図 5 MCD の例

5. 2 実 験 内 容

本予備実験では，19の関節を人の特徴を元にして下記の 4グ

ループに分類した．

• 全身（19関節全て）

• 上半身（11関節）

• 下半身（8関節）

• 両腕（6関節）

• 両足（6関節）

類似度算出手法には，A-LTK を用いた．また，A-LTK での

特徴ベクトルの構築方法には，1B を用いた．本実験では，

0.3, 0.5, 0.8の 3パターンでβを変化させ，各々の精度と処理

時間を評価した．

表 1 予備実験結果（精度）

全身 上半身 下半身 両腕 両足

β = 0.8 0.634 0.293 0.707 0.536 0.609

β = 0.5 0.659 0.415 0.683 0.561 0.659

β = 0.3 0.683 0.415 0.610 0.561 0.585

表 2 予備実験結果（処理時間 (sec)）

全身 上半身 下半身 両腕 両足

β = 0.8 62.00 57.45 57.98 56.29 56.96

β = 0.5 27.01 23.77 24.39 23.39 23.85

β = 0.3 12.21 10.14 9.98 9.47 9.31

5. 3 実 験 結 果

表 1と表 2は，予備実験の結果を表している．この結果から，

完全なマッチングでは，従来の全ての関節を使った全身の多次

元時系列データと同程度もしくはより良い精度であることが分

かる．また，処理時間についても軽減されていることが分かる．

そこで，今後は，集約処理と部分シーケンマッチングに適用を

行い，精度と処理時間の評価を行っていく予定である．

6. お わ り に

本研究では，特徴のある関節集合ごとに類似度を算出するこ

とで精度と処理効率を向上させる部分シーケンスマッチング手

法である A-LTK for MCD を提案するための予備調査を行っ

た．MCDを腕，上半身，下半身，脚等の関節集合のデータに

分けることで，どの部分が最も特徴を捉えているか調べる実験

を行った．実験結果から，今回使用したデータセットでは，従

来よりも同程度もしくはより良い精度での検出が可能であるこ

とが分かった．また，処理時間については軽減されていること

も分かった．今後は，部分シーケンスマッチングでの評価を行

う予定である．また，他のデータセットでの調査も行い特徴の

ある部分が手動や固定ではなく，自動で検出する手法も検討を

予定している．

7. 謝 辞

本研究の一部は，文科省私大戦略的基盤系性支援事業（2013-

17）および JSPS科研費 24300039の助成を受けた．

文 献[1] Yu Fang el al. Multi-dimensional time series approximation

using local features at thinned-out keypoints. In ICCSIT

2014.

[2] Kenta Oku Kosuke Sugano, Yu Fang and Kyoji Kawagoe.

A coarse-to-fine method for subsequence matching of hu-

man behavior using multi-dimensional time-series approxi-

mation. In 17th International Conference on Information

Integration and Web-based Applications and Services (ii-

WAS2015).

[3] Y. Gao W. Liu L. Cao, R. Ji and Q. Tian. Mining spa-

tiotemporal video patterns towards robust action retrieval.

In Neurocomputing, Vol. 105, pp. 61–69, 2013.

[4] P. Turaga, R. Chellappa, V.S. Subrahmanian, and

O. Udrea. Machine recognition of human activities: A

survey. Circuits and Systems for Video Technology, IEEE

Transactions on, Vol. 18, No. 11, pp. 1473–1488, Nov 2008.

[5] Zhou Ren, Jingjing Meng, and Junsong Yuan. Depth cam-

era based hand gesture recognition and its applications in

human-computer-interaction. In Information, Communica-

tions and Signal Processing (ICICS) 2011 8th International

Conference on, pp. 1–5, Dec 2011.

[6] Michalis Raptis, Darko Kirovski, and Hugues Hoppe.

Real-time classification of dance gestures from skeleton

animation. In Proceedings of the 2011 ACM SIG-

GRAPH/Eurographics Symposium on Computer Anima-

tion, SCA ’11, pp. 147–156, New York, NY, USA, 2011.

ACM.

[7] Lichao Zhang, Jui-Chien Hsieh, and Jiangping Wang. A

kinect-based golf swing classification system using hmm and

neuro-fuzzy. In Computer Science and Information Process-

ing (CSIP), 2012 International Conference on, pp. 1163–

1166, Aug 2012.

[8] Mubbasir Kapadia, I-kao Chiang, Tiju Thomas, Norman I.

Badler, and Joseph T. Kider, Jr. Efficient motion retrieval

in large motion databases. In Proceedings of the ACM

SIGGRAPH Symposium on Interactive 3D Graphics and

Games, I3D ’13, pp. 19–28, New York, NY, USA, 2013.

ACM.

[9] Y. Matsubara, Y. Sakurai, N. Ueda, and M. Yoshikawa. Fast

and exact monitoring of co-evolving data streams. In Data

Mining (ICDM), 2014 IEEE International Conference on,

pp. 390–399, Dec 2014.

[10] Shen-Shyang Ho, Wenqing Tang, and W. Timothy Liu.

Tropical cyclone event sequence similarity search via di-

mensionality reduction and metric learning. In Proceed-

ings of the 16th ACM SIGKDD International Conference

on Knowledge Discovery and Data Mining, KDD ’10, pp.

135–144, New York, NY, USA, 2010. ACM.

[11] 中村 徹夜. 他. Amss:時系列データの小売雨的な類似度測定手法. 電子情報通信学会論文誌 D.