TensorFlow唐揚サーバーロボット

株式会社アールティ

アールティについて

• アールティは創立以来、イノベーターを顧客として成長してきた企業である。技術的には、移

動機構、屋内・屋外センサー統合技術、2足歩行ロボット、ドローン、室内ヘリ、対話、イベ

ント等、様々な知見、ノウハウを蓄積している。人型ロボットをコンパクトに作る技術にかけ

てはアールティが世界一である。端的に言って、アールティは、先端技術を実現可能にし、世

界をリードできる基礎技術を蓄積してきている。

• Google I/Oに2年連続出展（2011年、2012年）

※Google I/OはGoogle本社が米国サンフランシスコで行う開発者会議。

世界中から選抜された技術的なリーディングカンパニー/グループが招待される。

Page : 2

開発実績2 協働型ロボット関連技術

国際ロボット展2013にて協働型ロボットアームを展示。

国際ロボット展2015にてIoT/Industry 4.0のデモを展示。 IROS2014にて研究用双腕ロボットを展示。

ロボットとWEBを統合して人との協働動作を実現。

基板設計、メカ設計、力制御まですべて自社開発可能。

Page : 3

開発実績3 受託開発紹介

Pepperプロトタイプ開発（2012年12月~2013年2月)

NTT Data様向けかえるちゃんGoogle 向けRIC Android2011年

HAYABUSA様(KDDI向け)見守りロボット「カリコキャット」2013年

フジテレビ系アニメRobotics; Notes 2013年ON Airタネガシマシン3（プロモーション用実機）

アスラテック様SoftbankグループASRA C1 2013年RIC90ベース

サムソンイベントGalaxy X’masでロボットを30日間動かし、3000人以上とHug2011年

Page : 4

いろんなロボットの開発・提供実績。

ロボットショップ「ロボットアイル」

秋葉原駅電気街口下車徒歩30秒

ロボットアイルではネコ店長※が世界中からのお客様をお出迎え

※身長120㎝人型ロボット

WEBショップアールティロボットショップhttp://www.rt-shop.jp/

Page : 5

当社の取り組む人工知能

機械学習

形式知

身体知

ロボット本体モーターセンサーメカ

データベースクラウド解析会話

音響処理音声認識画像処理情景理解感情感性処理

今日の発表者

中川友紀子株式会社アールティ 代表取締役

1971年生まれ1995年法政大学大学院修士課程修了 工学修士1995年東京工業大学 大学院総合理工学研究科 助手1998年科学技術振興機構ERATO北野共生システムプロジェクト研究員2001年日本科学未来館展示サブリーダーロボットベンチャー等を経て2005年株式会社アールティを創業2006年初自社製品発売開始

パワーポイントと連動する教育用アームロボット2007年アールティオフィスを秋葉原電気街に移転以下、社歴参照 https://www.facebook.com/RTnetjp/

Page : 7

著書日経Roboticsコラム連載（2015年8月号から）ロボットのいるくらし（単行本・共著、2007年、日刊工業新聞社）入門 Bluetooth(単行本・共著、2000年、技術評論社)

専門分野

動画像処理、マルチモーダル情景理解、ニューラルネットワーク、ファジィ知識工学、GA、自然言語処理、UNIX系ネットワークスーパーユーザー(基幹ネットワークからサーバー立ち上げまでフルスタックで対応可能)、科学館展示、ロボットを通じた科学技術教育2015年より日本知能情報ファジィ学会副会長

近年のロボット関連の取材でインタビュー、講演等2015年 日本経済新聞社講演会にて講師2015年 世界で知るべきロボット業界の女性25人に選出

（ロボハブ シリコンバレーロボティクスのWEBメディア）2015年 日本経済新聞7月17日夕刊2面で紹介2015年 日経MJでロボットパイオニアフォーラムの紹介記事掲載(2014年以前の講演、論文、受賞多数のため割愛)

ロボットで食品を扱うロボット分野において、最後に残されたフロンティアと言われるくらい、難しい。対象が自然物のため、見分けにくい、柔らかいなど技術的にとても難しい要素を秘めている。

はじめに

•TensorFlow唐揚サーバーロボットは、エンジニアに唐揚げを与えるための新鮮なネタです。

おいしいんだから！

お願い(-人-)

エチケット

•食べ物を使った実験をしている映像、写真等、SNSに上げるときは、実験した唐揚げはスタッフ＆参加者がおいしくいただきましたとお書き添えください。

ご協力お願いします。

むずかしさ(ロボット編)

• 柔らかいものをつかむの大変!!

• このロボットアームはJSONコードで動いてる!?

• 持ち出してポンと使えるようなロボットアーム開発は実は難しい。

• 力制御と重力補償で動いてる（柔らかくて安全）。

• 本日のロボットアームの名前は

NEKONOTE(ネコノテ)

と言います。猫の手も借りたいときに使います。

むずかしさ(データ作成編)

•ネットには単品唐揚げの画像がほぼない

•データ用の唐揚げを揚げる•2度揚げするとおいしい•冷凍した鶏肉を揚げると生焼け

画像データをクラウド（天国）へ

むずかしさ(画像処理編)

•そもそも唐揚げと他のものって区別しにくいみたい…• 唐揚げとグーの手とか区別できない。

•どこが唐揚げの境目なのかわからない

•高さが分からない

•形は一定ではない（人間なら見ればわかるのに…）

似ているとかいないとか？w

システム構成

NEKONOTE(ロボットアーム)

WEBカメラ

鶏の唐揚げ

Linux PC

ROS(Robot

Operating System)

アーム制御（逆運動学）

画像処理

ROS(Robot Operating System)

• ロボット用のミドルウェア（OSではない）

ライブラリ 視覚化ツール

メッセージ通信 パッケージ管理

フローチャート

画像処理

• 皿が置かれたのを認識してselective search開始

• 唐揚げらしき領域を探す

TensoFlow

• TensorFlowで学習したデータと切り出した画像が唐揚げかを判定

• 唐揚げなら、XY座標と大きさを出す

ロボット

アーム

• ロボットが位置をもらって、手先を動かし掴む

• お皿に載せる

そこでTensorFlow

• 唐揚げ画像を撮って切り出し• データ作成はとにかく揚げる、撮る、食べるの繰り返し。

• 学習には正解350枚不正解が750枚くらいの画像を使っている

• イタレーションはとりあえず2万回くらいでロスがなくなった。

• それでも、げんこつに握った手と唐揚げはよく似ている…

唐揚げピックアップデモ

•今回の唐揚げはGoogleに準備していただきました！（皆さん拍手！）

•当日に作られた唐揚げなので学習はできません。（当たり前？）

•唐揚げらしきものをピックアップするデモになっています。

•サーブされた唐揚げをおいしく召し上がって下さい

エンドロール

• 発案者＆唐揚げ担当：中川友紀子（アールティ）

• ソフト担当：平間翔大（千葉工大）

• メカ担当：中川範晃（アールティ）

• 励まし担当＆監修：上田隆一（千葉工大）

• 出ると決めてから、1.5か月（活動は週1日）

• 食べられた唐揚げ：100個以上。

結論

• 唐揚げ山盛りはまだ画像だけじゃ難しい。

• 皆さんも試してみてください！

ありがとうございました。唐揚げをお楽しみください。