AI・ロボティクス技術のご紹介AI・ロボティクス技術のご紹介 ディープラーニングを活用したロボットアームによる部品搬送 ロボットアームがボールをつかむ際の座標をディープラーニングによって学
最新のモデルベース技術で実現するロボットアームの 開発と...
Transcript of 最新のモデルベース技術で実現するロボットアームの 開発と...
![Page 1: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/1.jpg)
最新のモデルベース技術で実現するロボットアームの開発と自律化
小林昇洋
![Page 2: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/2.jpg)
産業用ロボットにおけるトレンド
2
協働ロボット 急速な出荷利用の増加年平均成長率(CAGR) 20% 2017 - 2023
小型ロボットの増加傾向
2023年における可搬重量10kg以下のロボットの出荷量予測
40% 多関節ロボット
80%SCARAロボット
82%協働ロボット
Source: Interact Analysis
![Page 3: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/3.jpg)
人の支援を前提とした自動化
産業用ロボット技術の発展
部分的自律化
制約付き自律化
高度自律化
完全自律化
1961
自動化以前
従来型の産業用ロボット
AI搭載ロボット
協働ロボット
Unimate at GM, 1961
2008 2019-
UR5 1st Cobot at Linatex, 2008 1961
3
![Page 4: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/4.jpg)
自律システムを実現する構成要素人の明示的な操作を必要としない独立したオペレーションの実現
計画 (判断)
障害物回避
自己位置推定
軌道計画
センサ(観測)
近接センサ
エンコーダ カメラ
接触スイッチ力/トルク
センサ
コネクト/実装 マイコン/FPGA/GPU ROS
ロボット本体/環境
筐体 アクチュエータ ハンド
プロトタイプ HW
利用環境量産 HW
自律アルゴリズム
制御 (行動)
軌道制御
フィードバック制御
監視制御
ゲインスケジューリング
S1
S2S3
認識 (状態)
物体の認識/トラッキング
複合環境の理解
4
![Page 5: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/5.jpg)
本日のアジェンダ
01産業用ロボットの自律化におけるチャレンジ 02
自律ロボット開発とモデルベースデザイン
まとめ
04
Case Study: Pick-and-Place タスクの自律化
03
5
![Page 6: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/6.jpg)
本日のアジェンダ
01産業用ロボットの自律化におけるチャレンジ 02
自律ロボット開発とモデルベースデザイン
まとめ
04
Case Study: Pick-and-Place タスクの自律化
03
6
![Page 7: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/7.jpg)
産業用ロボットの自律化におけるチャレンジ
複合領域の
専門性
高度なアルゴリズム
開発環境
システムの安全性
7
![Page 8: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/8.jpg)
従来型のソフトウェア開発手法
* AspenCore - EETimes, “2019 embedded markets study,” EETimes, Tech. Rep., 2019
全行程時間のうちシミュレーションに使用される時間は6%のみa
b
c
コンセプト設計
ハンドコーディング
組み込みシステム
8
![Page 9: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/9.jpg)
キーポイント
自律ロボット開発とモデルベースデザイン
自律ロボットに求められる各要素ロボット本体・環境・センシング・認知・計画・判断・制御
MATLAB®/Simulink® が提供する各種ロボティクス開発関連機能
» ロボットの運動学・動力学モデルの構築» Deep Learningを使った認識アルゴリズム» 環境モデル、センサーモデルの構築 : Gazebo co-simulation» 障害物回避を考慮した軌道の生成» 制御と強化学習 / Stateflowによる監視制御» C/C++ コード/ ROSノード生成
9
![Page 10: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/10.jpg)
本日のアジェンダ
01産業用ロボットの自律化におけるチャレンジ 02
自律ロボット開発とモデルベースデザイン
まとめ
04
Case Study: Pick-and-Place タスクの自律化
03
10
![Page 11: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/11.jpg)
Ex) 効率的かつロバストなシステム開発に貢献
産業用ロボットの自律化におけるチャレンジとモデルベースデザイン
モデリングシミュレーション
コード生成
検査 &検証
設計から検証までの一貫したモデルベースデザインが有効
11
Ex) 複数バリエーションの検討高速化に貢献
複合領域の
専門性
高度なアルゴリズム
開発環境
システムの安全性
![Page 12: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/12.jpg)
ハードウェア開発
自律システムの構成要素と開発フロー
ロボットアームの自律アルゴリズム開発
外環境とのインターフェース
認識
センシング
計画 & 判断
制御
ロボット本体& 環境
コネクト/実装
12
![Page 13: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/13.jpg)
本日のアジェンダ
01産業用ロボットの自律化におけるチャレンジ 02
自律ロボット開発とモデルベースデザイン
まとめ
04
Case Study: Pick-and-Place タスクの自律化
03
13
![Page 14: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/14.jpg)
ロボットアーム Demo
Pick-and-Place タスク
モデルベースデザイン
オブジェクトのDeep Learningを用いた検出および障害物回避軌道の生成
14
![Page 15: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/15.jpg)
ロボット本体のモデリングCADからの自動インポート
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
Simscape Multibody™
CADロボット& 環境
15
![Page 16: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/16.jpg)
アクチュエータの設計モーターの仕様を検討
16
Simscape™
Robotics SystemToolbox™
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 17: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/17.jpg)
環境のモデリング環境モデルとの接続
Gazebo co-simulationによるロボットアームのシミュレーション
Gazebo: 物理エンジン、センサーおよびノイズのシミュレーション環境
17
ROS Toolbox
Robotics SystemToolbox
![Page 18: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/18.jpg)
環境のモデリング環境モデルの選定
詳細度低
詳細度高
距離軌道計画
動的な摩擦・変形
サイクルタイム
接触力摩擦
力制御
用途
Simscape
Multibody
Robotics SystemToolbox
環境モデルの機能
18
![Page 19: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/19.jpg)
環境のモデリング接触及び弾性を考慮したシミュレーション
正確なジオメトリを使用した接触
Brick Solid
Spherical Solid
Cylindrical Solid
Ellipsoidal Solid
凸包形状近似による接触
File Solid (CAD)
Extruded Solid
オイラーベルヌーイの式をベースとした弾性体
Craig-Bampton法による弾性体
FEM解析からのリダクション
19
![Page 20: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/20.jpg)
Intel® RealSense™RGB-D camera
点群(カラー) テーブルの検出
オブジェクトの抽出 ノイズ除去&クラスタリング
センシング姿勢推定のための点群処理
20
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 21: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/21.jpg)
• 汎用センサーのサポート
• 画像の分析
• 画像の加工
• 点群の可視化
• Apps
センシング汎用センサーの接続とセンシング関連機能
21
Image Processing Toolbox™
Computer Vision Toolbox™
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 22: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/22.jpg)
認識分類におけるDeep learning の適用
•••
Deep Learning (YOLO v2)による物体認識
22
Deep Learning Toolbox™
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 23: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/23.jpg)
認識オブジェクトの分類
Camera
物体認識
23
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 24: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/24.jpg)
動作計画
関節角
軌道への追従
経由点
環境との相互作用
グリッパーの制御
X(t0)
X(tf)
q(t2)
q(t3)
q(t1)
q(t0)
q(tf)
動作計画
初期姿勢 X(t0)到達姿勢 X(tf)関節角制約障害物
関節軌道Q(t)
24
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 25: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/25.jpg)
動作計画軌道計画 + 軌道生成 + 軌道追従
25
Model Predictive Control Toolbox™
Robotics System Toolbox
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 26: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/26.jpg)
モーションコントロール監視制御アルゴリズム
監視制御
26
Stateflow®コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 27: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/27.jpg)
モーションコントロールフィードバック線形化アルゴリズム
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
Robotics System
Toolbox
②速度補償項遠心力・コリオリ力
③重力補償項
①慣性補償項① ② ③
フィードバック制御
27
![Page 28: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/28.jpg)
モーションコントロールシステムの安全性検証の効率化
Simulink Real-time™
RCP: Rapid Control Prototyping
HILS: Hardware-In-the-Loop Simulation
コントローラ (実物) HILシミュレータ
制御したい対象を専用HWで模擬
RCPシミュレータ 制御対象 (実物)
コントローラモデルを専用HWで模擬
28
![Page 29: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/29.jpg)
高度自律システム開発 : Reinforcement Learning
エージェント
強化学習アルゴリズム
方策
環境
行動
報酬
状態
方策を更新
29
ターゲットオブジェクトへの到達を学習
![Page 30: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/30.jpg)
高度自律システム開発 : Reinforcement Learning既存モデルへのシームレスな統合
Reinforcement Learning Toolbox™
Simscape
30
![Page 31: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/31.jpg)
高度自律システム開発 : Reinforcement Learningモデルの詳細度とパラメータ設計
Reinforcement Learning Toolbox
Simscape
パラメータ設計検討
実問題へのトライ
類似問題(高速)
厳密な問題
31
![Page 32: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/32.jpg)
アプリケーション
センサ1 センサ2シミュレー
タ
アクチュエータ1 HMI1 HMI2
Middleware
外環境とのインターフェースコード生成サポート
32
ROS Toolbox
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 33: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/33.jpg)
外環境とのインターフェースコード生成サポート
Ethernet
Jetson Xavier (Ubuntu 18.04)
ROS2へのstand-aloneノード実装
(Bouncy)
Node1KinovaSystem Object
Kortex API
Node2User Application
Node3User Application
ROS接続機能publisher/subscriber
など
マルチスレッド, マルチコア,
疑似リアルタイム
33
ROS Toolbox
コネクト
& 実
装
センシング
認識
計画 & 判断
制御
ロボット& 環境
![Page 34: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/34.jpg)
製品同梱例題から始めるピッキングタスク倉庫におけるピッキングタスクにおける軌道計画の例題
Robotics System Toolbox の干渉判定機能 /非線形モデル予測制御 / 監視制御にStateflowを利用した例題
34
![Page 35: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/35.jpg)
障害物回避 ON(青:障害物)
障害物回避 OFF(黒:障害物)
35
製品同梱例題から始めるピッキングタスク倉庫におけるピッキングタスクにおける軌道計画の例題
![Page 36: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/36.jpg)
センシング
認識
計画 & 判断
制御ロボット&環境
製品同梱例題から始めるピッキングタスクデルタロボットの軌道計画
![Page 37: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/37.jpg)
本日のアジェンダ
01産業用ロボットの自律化におけるチャレンジ 02
自律ロボット開発とモデルベースデザイン
まとめ
04
Case Study: Pick-and-Place タスクの自律化
03
37
![Page 38: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/38.jpg)
ハードウェア開発
自律システムの構成要素と開発フロー
ロボットアームの自律アルゴリズム開発
外環境とのインターフェース
認識
センシング
計画 & 判断
制御
ロボット本体&環境
コネクト/実装
38
Sensor Fusion and
Tracking Toolbox™
Computer Vision
Toolbox
Model Predictive
Control Toolbox
Reinforcement
Learning Toolbox
Stateflow
Navigation
Toolbox™
Robotics System
Toolbox
Deep Learning
Toolbox
MATLAB / Simulink Simscape
ROS Toolbox
![Page 39: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/39.jpg)
産業用ロボットの自律化におけるチャレンジとモデルベースデザイン
シミュレーションを活用した
開発の効率化が必須
モデリングシミュレーション
コード生成
検査 &検証
設計から検証までの一貫したモデルベースデザインが有効
39
複合領域の
専門性
高度なアルゴリズム
開発環境
システムの安全性
![Page 40: 最新のモデルベース技術で実現するロボットアームの 開発と ......最新のモデルベース技術で実現するロボットアームの 開発と自律化](https://reader035.fdocument.pub/reader035/viewer/2022081400/608418ffed74d32ba4429729/html5/thumbnails/40.jpg)
関連コンテンツ
40