tfとカメラパッケージ + NEXTAGE OPENの事例紹介
-
Upload
yutaka-kondo -
Category
Software
-
view
3.019 -
download
1
Transcript of tfとカメラパッケージ + NEXTAGE OPENの事例紹介
近藤 豊 博士(工学)
• 奈良先端大小笠原研究室でアンドロイドの人間らしい 振る舞いを研究
• 現在はカワダロボティクスで協働ロボットの開発に従事
2 第2回の発表資料:http://youtalk.jp/rosjp-2nd
目次 • tf – 公式チュートリアルの学習 – RVizを使った可視化
• カメラパッケージ – gscam:UVC(Webカメラ)ドライバ – camera_calibration:カメラのキャリブレーション – cv_bridge:ROS <-> OpenCVの画像変換 – ar_track_alvar:ARマーカ認識 – ueye_cam:NEXTAGEの頭部・ハンドカメラドライバ
3
座標変換はバグの温床 • でもロボット開発とは切っても切れない関係...
4
学部4年の研究 http://youtu.be/5XNHj_d5fcI
修士2年の研究 http://youtu.be/pjSzW7ZOwhk
フレームの可視化 $ rtmlaunch nextage_ros_bridge nextage_ros_bridge_simulation.launch
GUI:=false $ rosrun tf view_frames $ evince frames.pdf
6 NEXTAGE OPENのツリー
RVizによるフレームの可視化 $ rosrun tf static_transform_publisher 0 0 0 0 0 0 1 map WAIST 100
$ rosrun rviz rviz
7
画面左下のAddボタンを押して “TF”, “RobotModel”ビューを追加
tf チュートリアル • http://wiki.ros.org/tf/Tutorials のPython版を少し改良
$ cd /path/to/catkin_ws/src $ git clone https://github.com/ros-japan-users/rosjp_tutorials $ cd .. $ catkin_make --pkg learning_tf
8
課題1 • static_transform_publisherを使って、3と同じことを 実現してください。 http://wiki.ros.org/tf#static_transform_publisher
12
4. tfと時間の関係性 $ roslaunch learning_tf start_demo4.launch
13
5. 過去フレームの問い合わせ $ roslaunch learning_tf start_demo5.launch
カメラのROS API • トピック – camera/image_raw (sensor_msgs/Image) 画像のストリーミング
– camera/camera_info (sensor_msgs/CameraInfo) カメラの内部パラメータ出力
• サービス – camera/set_camera_info (sensor_msgs/SetCameraInfo) カメラの内部パラメータ設定
15
gscam • UVC(Webカメラなど)のドライバ
$ sudo apt-get install ros-hydro-gscam $ ls /dev/video* /dev/video0 /dev/video1 $ roslaunch gscam v4l.launch DEVICE:=/dev/video0 PUBLISH_FRAME:=true
$ rosrun image_view image_view image:=/v4l/camera/image_raw
16
cv_bridge • ROS sensor_msgs/Image <-> OpenCV cv::Matの変換
$ sudo apt-get install ros-hydro-cv-bridge $ cd /path/to/catkin_ws/src $ git clone https://github.com/ros-japan-users/rosjp_tutorials $ cd .. $ catkin_make --pkg learning_cv_bridge $ roslaunch learning_cv_bridge start_demo.launch image:=/v4l/camera/image_raw
17
camera_calibration • 単眼・ステレオカメラのキャリブレーション
$ rosrun camera_calibration cameracalibrator.py --size 9x6 --square 0.024 image:=/v4l/camera/image_raw camera:=/v4l
19
ar_track_alvar • ARマーカ認識 – ARToolKitより性能が優れ、ライセンスも安心 – Kinectを使った高精度化も可能
$ sudo apt-get install ros-hydro-ar-track-alvar $ cd /path/to/catkin_ws/src $ git clone https://github.com/ros-japan-users/rosjp_tutorials $ cd .. $ catkin_make --pkg learning_ar_track_alvar
20
ueye_cam • NEXTAGEが内蔵するIDS uEyeのカメラドライバ
$ git clone https://github.com/youtalk/ueye_cam $ git checkout nextage-cams $ cd .. $ catkin_make --pkg ueye_cam $ roslaunch ueye_cam stereo.launch
$ roslaunch ueye_cam hand.launch
23
※正式採用ではueyeを使うかも https://github.com/tork-a/rtmros_nextage/issues/103
NEXTAGEの頭部ステレオキャリブ $ rosrun camera_calibration cameracalibrator.py --size 9x6 --square 0.024 --approximate=0.1 right:=/stereo/right/image_raw left:=/stereo/left/image_raw right_camera:=/stereo/right left_camera:=/stereo/left
24