CRAM: Compact Representation of Action in Movies

古川拓弥

はじめに

• 著者– Mikel Rodriguez – University of Central Florida

• CVPR2010 のポスター発表

• 映像の要約（ Video Summarizing ）　– 特定動作の着目した要約– フーリエ変換を利用した動作特定

提案手法の流れ

1. 時空間領域中における動的領域の決定2. 動的領域内からの特定動作の検出3. エネルギー最小化による映像要約

動的領域の決定（ 1/3）

• 入力映像からオプティカルフローの算出• フロー場を周波数領域で考える– フロー場のフーリエ変換： Clifford Fourier

Transform

– 逆フーリエ変換 : Inverse Clifford Fourier Transform

動的領域の決定（ 2/3）

• 位相情報の逆フーリエ変換により動的領域 Wの特定– フーリエ変換における位相情報とは？• 2 次元画像の場合：画像の濃淡変化が得られる

• フロー場の場合：動きの変化を捉えることが可能

動的領域の推定（ 3/3）

• 位相情報の逆フーリエ変換により動的領域 Wの特定– しきい値処理によって領域分割 = worm 　

u ：フロー場 P( f(x, y, t) ) ：位相スペクトル

特定動作の検出

• 動作テンプレートに基づく特定動作の推定– 入力シーケンスとテンプレートの尤度計算

H(x, y, t) ：動作テンプレートs(l+x, m+y, n+t) ：入力シーケンス

尤度の正規化

• 相関空間の正規化により応答値を最適化

– EH ：フィルタエネルギー

– Es(l, m, n) ：位置 (l, m, n) における評価ボリュームの エネルギー

エネルギー最小化による映像の要約

• グラフカットを用いてエネルギーを最小化

– データ項 Et ：最大時間コスト• 要約映像の長さ（最大時間）

– 平滑化項 Eo ：時間重複コスト• 特定動作毎の時間的な重複

– ラベル： worm の時間推移

映像要約例

• 「拾う」動作に着目した映像の要約– 特定の動作のみを一つのシーンに集約– 動作検索が容易

元映像 要約映像 特定動作の要約映像

映像要約例

• ムービー– http://vimeo.com/9761199

まとめ

• 特定の動作に着目した映像の要約– 周波数領域において映像中の動的領域を推定– テンプレートマッチングにより特定動作を特

定– グラフカットを用いて映像の要約→ 映像解析の簡略化