ロボットハンドと触覚センサーを⽤いた能動的物体認識

1

MATLAB EXPO 2015 JAPAN@東京・ホテル グランパシフィック LE DAIBA16th Nov, 2015（Presentation: 40min）

奈良先端科学技術⼤学院⼤学情報科学研究科

知能システム制御研究室助教 松原崇充

松原崇充の⾃⼰紹介研究⽬的︓⼈や環境と相互作⽤する次世代ロボットの情報処理基盤の構築

– 不確実性を考慮した運動制御– ⼈の意図や環境の状態をセンサから読み取る状態推定

アプローチ︓機械学習, 最適制御，強化学習

学位︓2007年12⽉奈良先端⼤情報科学研究科博⼠後期課程修了– 学⽣時代から現在まで研究科内を渡り歩く

• 修⼠（2003-2005）︓杉本研(制御⼯学), 川⼈研(ATR脳研連携)• 博⼠（2005-2007）︓⼩笠原研(ロボティクス), 川⼈研• 助教1（2008-2010）︓⽊⼾出研(画像処理)• 助教2（2011-現在）︓杉本研(制御⼯学)

– 海外研究滞在• 英エディンバラ⼤学(2009年2⽉〜3⽉)• 豪シドニー⼯科⼤学(2011年11⽉〜12⽉)• 蘭ラドバウド⼤学(2013年1⽉〜2014年1⽉)

現在取り組んでいる研究テーマ

3

外⾻格歩⾏⽀援(ATR)

触覚物体認識

着⾐⽀援移動⽀援（シドニー⼯科⼤）

環境や⼈との相互作⽤を完璧に把握することは難しい 不確実環境下における意思決定（制御）技術が重要

移乗⽀援

得意とするアプローチ

4

機械学習（確率推論）

制御⼯学（確率最適制御）

制御⼯学（確率最適制御）

ロボット⼯学（剛体リンク系）

ロボット⼯学（剛体リンク系）

1. 機械学習を使ってデータから種々の不確実性を問題設定に取り込む

2. 不確実性を考慮したロボットの運動計画・制御

Robotics System Toolbox™

Optimization Toolbox™

Main CPU with GPGPU

Robot Hand (CPU2)

Parallel Computing Toolbox™

Globaloptimization

toolbox

MATLAB

Real-timecontroller

Gloveprocessing

Real-timeController

Tactile pre-processing(ADC etc.)

FSR Sensor Module (Raspberry Pi, CPU4)

Turntablecontroller

Robot Arm (CPU3)

Image pre-processing

NODE NODE NODE NODE

NODE

NODE

NODE

Ethernetimage

state pose position pressure

state

知能システム制御研究室のロボットシステム

ロボットはROS, 機械学習はMATLABROS-MATLAB間のI/Oインタフェースは2015aよりリリースされたRobotics System Toolbox™を利⽤

ロボット＋機械学習＋ＲＯＳ＋ＭＡＴＬＡＢ

®

不確実性に対処する⾏動戦略

1. 不確実性を考慮して最適な⾏動を計画 不確実なところは避ける 最悪状況でもタスク達成する保守的な解を選ぶ

2. 探索⾏動により不確実性を減らしてタスク実⾏ 不確実性を減らすための情報を収集し後のタスク

達成度を上げる迅速かつ効率的な探索⾏動をどう設計するかが鍵

6

研究事例紹介• ロボットハンドと触覚センサによる能動的探索⾏動設計

[Tanaka et al. IROS2014, Humanoids2014]

7

触覚情報（圧⼒・温度・振動など）から事前知識内のどれであるかを認識

︖ ･･･

⽬的︓認識の不確実性を「素早く」減らす探索⾏動の設計⽅法の確⽴

Shadow Dexterous Hand

3本指、12関節 (⼈差指3, 薬指3, 親指4, ⼿⾸2)空気圧⼈⼯筋⾁駆動（定格35kPa, 拮抗配置）

計32本*の筋⾁を搭載

* ⼿⾸第1関節に8本、第2関節に4本,、他は2本

各バルブは1kHzで制御各指先にはBioTacセンサを搭載位置制御に加えバルブの直接制御も可能

ゴム・空気の柔らかさ ⾼いコンプライアンス

BioTac

圧⼒・振動・温度・ひずみの情報を取得可能表⾯には⼈⼯の指紋

→振動センサで『ざらざら』などの特徴を取得し材質の同定などに利⽤可

ハンド経由で情報を取得

表⾯︓ゴム、中⾝︓液体なので柔らかい

探索⾏動設計の難しさ (1/2)1. 物体・⾏動・触覚の関係性モデリングは困難

- 空圧ゴム⼈⼯筋のプロセスノイズ- 触覚センサの観測ノイズ

10

我々のアプローチ︓機械学習によるデータからの確率的モデリング

同じ⾏動・違う物体

時間

⼒

*⼒はElectrodeの値を表⽰

違う⾏動・同じ物体押す⼒︓強

押す⼒︓弱

時間

⼒

探索⾏動設計の難しさ（2/2）

11

2. 認識に有益な探索⾏動が１つに定まらない– 「迷っている物体集合」を触覚で区別できるのが有益な⾏動– 物体集合に応じて設計する必要

我々のアプローチ︓⾏動設計 認識更新 ⾏動設計 … の逐次的処理

A B C

A, Cを⾒分ける⾏動 強く押すB, Cを⾒分ける⾏動 表⾯をなぞる

提案⼿法の処理の流れ

12

事前知識を初期信念として与える

︖

探索⾏動を実⾏し触覚情報を得る

信念を更新する

平均の最近傍の物体として認識結果を得る

物体パラメータ空間

現在の信念を基に能動的に探索⾏動を計画する

[IROS2014, Humanoids2014]

各要素の数理的概要1. 物体認識の不確実性︓ エントロピー（平均情報量）

2. 探索⾏動の評価基準︓ 触覚yによるエントロピーの減少量（相互情報量）

3. 探索⾏動の選択︓相互情報量が最⼤となる⾏動を最適化で⾒つける

4. 信念の更新︓新たに得られた観測から信念をベイズ推定

13

物体パラメータ

信念

積分計算は⼀般に困難 Gaussian Processを使った効率的な近似計算⼿法を採⽤

Gaussian Process (ガウス過程)• 最も基本的な確率過程

– ガウス分布はスカラーやベクトルの確率変数を記述するのに対し、ガウス過程は関数の確率的な性質を記述

– 平均関数と分散関数で決定

• ベイズ推論の事前分布に⽤いると回帰・分類・次元削減などの機械学習アルゴリズムが導出できる

14

平均関数 分散関数

Gaussian Process Regression

15

事後分布（ガウス分布）

平均分散

訓練データ︓

事前分布︓すべてのデータはGPから⽣成されたと仮定

試験データ︓

試験⼊⼒に対する出⼒の予測分布が解析的に導出できる

MATLAB１次元GPデモ• ⽥中⼤介君作

16

デモ表⽰

GP触覚モデル

17

センサデータ⾏動パラメータ

物体パラメータ

物体・⾏動の2因⼦を⼊⼒とする触覚センサモデルをGPで学習

ガウスノイズ

グラフィカルモデル

様々な物体を触って収集された触覚データから学習される

物体パラメータはどう設定するか︖

18

物体パラメータは先験的には得られない

我々のアプローチ︓機械学習でデータから⾃然に決める︕ GPに基づく教師無し特徴抽出によるアプローチ（GPLVM）

E.g., 物理パラメータに基づく定義

• 形状• 質感• 材料

→ ⾼次元情報のためその後の処理に望ましくない

物体パラメータ

ガウスノイズ

センサデータ⾏動パラメータ

物体パラメータ

教師無し学習による特徴抽出

19

⾏動により条件付けされた観測空間

触覚情報からの教師なし学習による抽出→ GP-LVM（Lawrence, 2005）

に基づく多様体学習法

触覚センサ空間 物体パラメータ空間

計算効率や汎化性の向上が期待できる

Analytic Moment-based GP Filter

20

以下条件下での厳密な平均・分散を持つガウス近似1.Square Exponential カーネル関数を使⽤2.事前分布がガウス分布

事後分布︓

同時分布︓

周辺分布︓

(Deisenroth et al. ICML2009)

GPR

GPRGPR

相互情報量の計算

21

(Saal et al. AISTATS2010)

前スライドの近似を⽤いて

GPRGPR

探索⾏動計画と信念更新

22

最適探索⾏動計画• 相互情報量の最⼤化による⾏動の最適化

• ベイズ則と線形化に基づく逐次更新物体信念の更新

現在の物体の信念がガウス分布なら代数計算で近似解が求まる

実験システム

23

物体リスト

24

stainless cup stainless bottlewooden container

polypropylene container

textured glass glass plastic cup paper cup

rough ceramiccup

smooth ceramiccup

ラベル付き訓練データ収集

25

動画再⽣

GP触覚モデルと物体パラメータの同時学習の様⼦

26学習される物体パラメータ 評価関数（周辺尤度）の推移

動画再⽣

結果

27

動画再⽣

各⾏動の分析

28

ツルツル・ざらざらの湯呑を区別するために物体表⾯を探索

動画再⽣

各⾏動の分析

29

紙・プラスチックコップを区別するために物体の硬さを探索

動画再⽣

認識結果の詳細

30

（10回平均）

探索回数

Rate=67%

認識

率

Reco

gniz

ed a

sTrue object

成功回数(10回中)

⼈間も間違えそうな物体間で誤認識が起こっている

まとめ• ロボットハンドと触覚センサを⽤いた能

動的物体認識= ロボット＋機械学習+ ROS+MATLAB

• 実験による有効性検証

31

• 時間が許せば…

32

触覚探索による物体表⾯形状の⾼速推定[SCIʼ15, SIʼ15]

33

• 物体形状推定︓触って物体の表⾯形状を推定する

〜 〜

タッチによって形状推定

提案⼿法の概要︓1. GPRで物体形状(平均)と不

確実性（分散）を表現2. 不確実性が⾼くかつ素早く

タッチできる箇所を探索

タッチを重ねるごとに真の形状に近づく

形状0 (外側)

0 (内側)

0 (曲⾯上)陰関数表現

GP形状陰関数モデル

新規性は「素早さ」を考慮したこと 実⽤性向上

シミュレーション結果34

形状の外側

形状の内側

不確実性 低

不確実性 ⾼

不確実性 低

不確実性 ⾼

⼊⼒した座標に対して形状の外側/内側かを推定

形状推定 :

推定した形状特徴量 推定の不確実性推定形状

形状推定の様⼦

シミュレーション

実環境実験

35

現在は２次元平⾯に焦点

ロボットハンド

タッチセンサ物体

圧⼒センサ(8個)

磁⽯

感圧部分

ロボットハンド

実環境実験

36

現在は２次元平⾯に焦点

こちらもRobotics System Toolbox™を活⽤☺

動画再⽣

謝辞• ⽥中⼤介君（D3）

– 物体認識の主担当

• 柴⽥耕太郎君（M2）– 形状推定の主担当

• 杉本謙⼆先⽣

37