Summarization of Scratch Input

Yuki Anai

Introduction[ 背景 ]

1. コンピュータが持ち運び可能になってきた

2. しかし、少し距離を置いただけで触れなくなるのは不便である

[ 提案 ]

1. 既存な机や壁を入力装置に

2. 表面を指のツメでなぞった時になる音を入力にする

3. 新しいコンピュータと人間とのインタラクション

Sensing[ 入力検知 ]

・ツメで木材や壁をなぞった時には、高い周波数がなるのを応用（大体3000Hz以上）

・人間の声は 90-300Hz、歌で 800-1200Hz、冷蔵庫や照明のノイズはせいぜい 50-60Hz

ちなみに、人間の可聴領域は、下は 20Hz程度から、上は（個人差があるが） 15,000Hzないし 20,000Hz.

Sensing(2)[ デバイス ]

・特殊な聴診器

　増幅音や、高周波ノイズの検出に適しているため

　聴診器を電気信号にするため、これに一般的なマイクをとりつけ

・信号は、オーディオ端子を通して PCに接続

　大量生産する場合 1ドル以下になる (らしい )

Sensing(3)[ 制限事項 ]

1. 入力の空間的な位置を把握できない

　巧妙な音響指紋アプローチ (？ )をすれば可能 [8]

　関連研究としては、複数マイクを用いて位置検出を行っていた [10]

　汎用性重視なので、そこは無視

2. 表面の材質が、きめ細かいものである必要がある

　材質が細かいものの方が、音を効率よく生成しやすい

　硬い材質というのは前提条件

Sensing(4)[ やりたいこと ]

・壁、ドア、服、机、カウンター、キャビネット等、多くの表面に使用可能したい

・貼付けるだけでセンシング可能に (設置が簡単 )

[ その他 ]

・また、二つの別々のテーブルは隣接されていも競合しない

　それぞれが独立したタスクをこなせる

・尖ったものであれば、ツメでなくてもいける可能性がある

Gesture Recognition

・一番シンプルな認識方法

指を動かす加速度による検知

具体的には、高周波、振幅 (音量 )を用いる

・もうちょっと複雑な方法 ※ M/W 、 V/L 、 X/T は難しい

ユニークな信号を元に認識

Gesture Recognition(2)

[ アルゴリズム ]

初期はダイナミック時間と、単純ベイズ分類器を用いた。

最終的には、ピークカウントと、振幅の変化に基づいた決定木を用いた。

モバイルデバイスで簡単に動き、リアルタイムに処理可能。

他には、ジェスチャー除去、ノイズ低減、振幅に依存しないピーク検出の手法をいくつか使っている。

Gesture Recognition(3)

[ 検出できるもの ]

1. タップ

　高周波と高強度の短い音のバーストによって特徴づけられる。

　 (ただ、どんなシステムでも出て来るが環境騒音がネックになる )

　でも、なんか上手くいってるみたい ( 何故 !?)

2. スクラッチ入力

　 3kHZ以上で動作させる事により、多くの問題 (ノイズ等 )を回避する。

Testing[ テーブルに携帯を置いて実験 ]

木は緻密な素材なため、音を出しやすい

色んなテーブル (13メートル、幅 1 〜 2メートルの深さまで )、色んな場所でテストしたけど、結果は良かった

ただし、二つ例外があり、ガラスと高光沢の木製テーブルは検出される信号が弱すぎた

Testing(2)[ テーブルに携帯を置いて実験 ]

センサはテーブルに置き、その上に適切な圧力がかかるように携帯を置いた。

携帯が鳴ったときの応答として、ノーマルモード・サイレントモード ( 拒否 )・アンサーモード ( 受け答える )の 3つをやったが、機械学習ベースのエンジンはちゃんと反応した。

シンプルだけど、この実験は良かった。

机にデバイスが複数ある場合、ジェスチャーをブロードキャストしてみたいとか考えていた。

Testing(3)[ 壁をなぞる実験 ]

一般的な壁は乾式壁で、センサは 8m 感知できた。一つのセンサで、床から天井までの 16m、約 40 平方メートルの面積を認識できる。

コーナーによく届き、ドアの開口部は信号は弱くなるが一応届いた。

壁をダブルタップで再生 / 停止、ダブルスワイプでボリューム切り替えを行った。

※適切な表面処理をせずにスクラッチを繰り返すと、傷がつく。

Testing(4)[ 覆われたデバイスの実験 ]

多くのデバイスはプラスチック等で覆われている

Macbook Airを使って実験

1個目 : タップすると、パワポのスライドをすすめたり

2個目 : シングルタップでファイルやディレクトリを選び、ダブルタップで開く

(ここの実験は、良くわからなかった )

Testing(5)[ 布を使った実験 ]

モバイルはしばしばポケットにある。

シンプルなアクションのために一々取り出すのめんどくさいので、足を触ったら検知できるか実験した。

ポケットにセンサを入れて、左足にジェスチャーした場合、膝からベルトのラインまで検知できた。人間の抗生物質は多くが水なため、伝送特性が高いためだと考えられる。

ただ、右足や手は検知しなかった。あと歩いてるときのノイズ凄そう。

Evaluation15人 ( 女性 9人 )、平均年齢 31 歳。 現実世界の入力面で実験するため、参加者の家やオフィスで行った。 参加料として、 10ドル払ったよ。

実験内容は、 6つのシンプルなジェスチャーを選択してもらった

だいたい 89.5%の成功率 ( 後者 4つは難しかった )。

Conclusionツメのなぞりを用いたスクラッチ入力実験を行った

色んなものに使え、安くて、持ち運び可能

ふろく

ピークカウント

決定木

単純ベイズ分類器 (naive bayes)

・文書の出現確率を、単語の出現確率の積で近似する

　語順を考慮しない

　単語間の相関関係を考慮しない

　だいたん

・教師あり学習とか、だったはず。。。