École Polytechnique de MontréalDépartement de génie électrique
ELE3100 - Projets de génie électrique
Robotique et informatique
Cours no. 4: Systèmes de perception pour robots mobiles
Coordonnateur:Réjean Plamondon, ing. Ph.D., professeur titulaireDépartement de génie électrique, section génie biomédical (A.429.16)Courriel: [email protected]
Chargé de cours et de laboratoire:Julien Beaudry, étudiant M.Sc.A. (A.321)Courriel: [email protected]
Chargé de laboratoire:Moussa Djioua, étudiant Ph.D. (A.408)Courriel: [email protected]
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Plan du cours
2
• Problématique
• Classification des capteurs
• Capteurs usuels
• Cas particulier: vision artificielle
• Capteurs redondants et fusion d’information
• Interfaces avec ordinateur de bord
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
3
Rôle du système de perception au sein du logiciel de contrôle du robot:
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
4
Rôle du système de perception au sein du logiciel de contrôle du robot:
Donner au robot une représentation adéquate des informations lui permettant d’accomplir son travail. Ce système doit utiliser des capteurs capables de mesurer certaines informations propres au robot ainsi que certaines caractéristiques de l’environnement.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
5
Qu’est-ce qu’un robot peut chercher à mesurer?
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
6
Qu’est-ce qu’un robot peut chercher à mesurer?
• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
7
Qu’est-ce qu’un robot peut chercher à mesurer?
• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)
• Son état dans l’environnement (ex.:position, vitesse de son centre de masse ou de son effecteur)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
8
Qu’est-ce qu’un robot peut chercher à mesurer?
• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)
• Son état dans l’environnement (ex.:position, vitesse de son centre de masse ou de son effecteur)
• L’état de l’environnement (ex.: position de balises, position et dimension d’obstacles, relief du terrain)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
9
VALUEJUDGMENT
SENSORYPROCESSING
SENSORS
DATABASE
BEHAVIORGENERATION
ACTUATORS
ENVIRONMENT
WORLDMODEL
PLAN
RESU
LTS
SITUATIONEVALUATION
PERCEIVE
D
SITUATIO
NS PLANEVALUATIONS
STATES
PLANS
PREDICTEDINPUT
UPDATES
ACTIONSEVENTS
INTERNAL
EXTERNAL
OBSERVEDINPUT
COMMANDEDACTIONS
Planning andExecution
SituationAssessment
J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
10
VALUEJUDGMENT
SENSORYPROCESSING
SENSORS
DATABASE
BEHAVIORGENERATION
ACTUATORS
ENVIRONMENT
WORLDMODEL
PLAN
RESU
LTS
SITUATIONEVALUATION
PERCEIVE
D
SITUATIO
NS PLANEVALUATIONS
STATES
PLANS
PREDICTEDINPUT
UPDATES
ACTIONSEVENTS
INTERNAL
EXTERNAL
OBSERVEDINPUT
COMMANDEDACTIONS
Planning andExecution
SituationAssessment
J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.
Logiciel de contrôle
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Problématique
11
VALUEJUDGMENT
SENSORYPROCESSING
SENSORS
DATABASE
BEHAVIORGENERATION
ACTUATORS
ENVIRONMENT
WORLDMODEL
PLAN
RESU
LTS
SITUATIONEVALUATION
PERCEIVE
D
SITUATIO
NS PLANEVALUATIONS
STATES
PLANS
PREDICTEDINPUT
UPDATES
ACTIONSEVENTS
INTERNAL
EXTERNAL
OBSERVEDINPUT
COMMANDEDACTIONS
Planning andExecution
SituationAssessment
J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.
Logiciel de contrôleSystèmede perception
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Classification des capteurs
12
Il existe 2 grandes catégories de capteurs:
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Classification des capteurs
13
Il existe 2 grandes catégories de capteurs:
• Capteurs proprioceptifs: capteurs capables de mesurer des informations propres (internes) au robot. Grâce à ces capteurs, le robot peut déterminer l’état de certaines de ses composantes (batteries, actuateurs, etc.). Il peut possiblement en déduire son état dans l’environnement.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Classification des capteurs
14
Il existe 2 grandes catégories de capteurs:
• Capteurs proprioceptifs: capteurs capables de mesurer des informations propres (internes) au robot. Grâce à ces capteurs, le robot peut déterminer l’état de certaines de ses composantes (batteries, actuateurs, etc.). Il peut possiblement en déduire son état dans l’environnement.
• Capteurs extéroceptifs: capteurs capables de mesurer des informations provenant de l’environnement (mesures externes). Il permettent au robot de modéliser son environnement extérieur.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs usuels
15
Mesure de position/vitesse angulaire
Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
16
Mesure de position/vitesse angulaire
Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.
http://www.eventide.com/technote/
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
17
Mesure de position/vitesse angulaire
Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.
http://www.eventide.com/technote/
Il existe principalement deux types d’encodeurs optiques :
•Encodeur optique absolu
•Encodeur optique incrémental
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
18
Encodeur optique absolu :
• Il discrétise l’axe de rotation en un nombre N de positions et retourne une valeur binaire unique pour chacune des positions.
• La position est alors représentée par un nombre n de bits où N=2n. Ces bits peuvent être lus de façon parallèle.
• Cet encodeur a l’avantage de demander peu de conversion pour obtenir l’orientation actuelle de l’axe et de ne pas dériver au niveau de la position angulaire (d’où le terme absolu), mais il demande plus de câblage puisque la lecture se fait en parallèle.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
19
Encodeur optique absolu, signaux générés :
Disque d’un encodeur 8 bits
Source: BEI (http://www.beiied.com)
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
20
Encodeur optique incrémental :
• Il envoit de façon sérielle des bits 0 et 1 pour indiquer la rotation de l’axe.
• Il est alors nécessaire d’utiliser des compteurs suffisamment rapides pour lire ces variations de position et mesurer le déplacement angulaire dans un intervalle donné.
• La quadrature de phase permet de mesurer le sens de rotation et d’augmenter la précision de l’encodeur (par un facteur 4).
• Cet encodeur a l’avantage de donner directement le déplacement de l’axe (facilite le calcul de vitesse) et demande peu de câblage.
• Par contre, la mesure d’orientation n’est pas directe et peut occasionner une dérive, d’où l’utilité d’un bit INDEX pour signaler un tour complet de l’axe.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
21
Encodeur optique incrémental, signaux générés :
Source: National Instruments (http://zone.ni.com/devzone/conceptd.nsf/webmain/)
Principe de fonctionnement Grâce à la quadrature de phase, 4 fois plus de précision
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
22
Mesure de position/vitesse angulaire
Il existe quelques autres dispositifs :
• Potentiomètre (résistance variable): la valeur de la résistance permet de déterminer la position angulaire grâce à un CAN. Solution économique mais précision moyenne.
• Tachymètre: génération d’un signal analogique ou numérique en fonction de la vitesse angulaire.
• La majorité des circuits de contrôle de moteurs DC fonctionnent avec des encodeurs optiques.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
23
Mesure de position linéaire:
Utilisation de capteurs de rotation grâce à un lien mécanique. Traduction du mouvement rotatif mesuré en mouvement linéaire.
Exemple:
Source: BEI (http://www.beiied.com)
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
24
Capteurs inertiels:
Les capteurs inertiels cherchent à mesurer les accélérations, linéaires et/ou angulaires, du véhicule en mouvement.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
25
Capteurs inertiels:
• Accéléromètres: mesure des accélérations linéaires du repère mobile, généralement grâce à un système micro électromécanique (MEMS).
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
26
Exemples d’accéléromètres:
• ADXL202 de National Instruments (http://www.analog.com/)
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
27
Exemples d’accéléromètres:
• ADXL202 de National Instruments (http://www.analog.com/):
• Mesure des accélérations selon 2 axes (X et Y)
• Bon marché (moins de 10$US par circuit)
• Caractéristiques intéressantes pour le prix: (voir fiche technique)
• Pratique pour mesurer des collisions sur des véhicules mobiles
• Peu approprié pour du positionnement (trop de bruit)
• Fabricant d’accéléromètres : INTERTECHNOLOGY, (http://www.intertechnology.com/Kistler/indexAcceleration.htm)
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
28
Utilisation des accéléromètres:
• Attention à la largeur de bande du capteur (mesure de vibrations?)
• Attention à l’emplacement p.r. au repère mobile:
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
29
Utilisation des accéléromètres:
• Attention à la largeur de bande du capteur (mesure de vibrations?)
• Attention à l’emplacement p.r. au repère mobile:
xm
ym
accéléromètre X-Y
ra
θ
cos 00 sinm m a
AxA A rAy
Am
αm cos 00 sinm m aA A r
Mesures du capteur:
Accélérations linéaires:
doit être connu
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
30
Capteurs inertiels:
• Gyroscopes: mesure des vitesses angulaires.
Capteurs usuels
Peuvent être mécaniques en utilisant le principe d’une toupie : http://www.accs.net/users/cefpearson/gyro.htm
Peuvent être optiques en utilisant le principe de Sagnac: http://www.mathpages.com/rr/s2-07/2-07.htm
Exemple: DSP-5000 de KVH, http://www.kvh.com/products/product.asp?id=45
Exemple: GG2479 de Honeywell,http://content.honeywell.com/dses/products/gyros/rlg-gg2479.htm
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
31
Capteurs inertiels:
• Inclinomètres: mesure de l’inclinaison p.r. à l’horizontale, généralement grâce à une masse en mouvement. Ils sont généralement influencés par l’accélération du repère mobile (compensation possible en environnement dynamique).
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
32
Capteurs inertiels:
• Inclinomètres: mesure de l’inclinaison p.r. à l’horizontale, généralement grâce à une masse en mouvement. Ils sont généralement influencés par l’accélération du repère mobile (compensation possible en environnement dynamique).
Capteurs usuels
Exemple: CXTILT02 de Crossbow,http://www.xbow.com/Products/productsdetails.aspx?sid=39
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
33
Capteurs inertiels:
• Centrale inertielle (Inertial Measurement Unit, IMU): combinaison de plusieurs capteurs inertiels pour donner les déplacements tri-dimensionnels d’un véhicule en mouvement.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
34
Capteurs inertiels:
• Centrale inertielle (Inertial Measurement Unit, IMU): combinaison de plusieurs capteurs inertiels pour donner les déplacements tri-dimensionnels d’un véhicule en mouvement.
Capteurs usuels
Exemple: DQI de BEI Technologies, http://www.systron.com/pro_DQI.asp
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
35
Capteurs inertiels:
• Il est possible d’obtenir les positions et vitesses d’un véhicule par l’intégration des mesures des capteurs inertiels
• Mais attention à la dérive des mesures, il est nécessaire de corriger par capteur absolu.
Capteurs usuels
Exemple Matlab de positionnement avec accéléromètre
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
36
Capteurs de force/pression:
• Les capteurs de force peuvent être utiles pour manipuler des objets à l’aide d’un bras robotisé (mesure de contact, contrôle en force, limites de sécurité, etc.)
• Ils existent sous différentes technologies, voici un exemple utilisant des résistances piézoélectriques:
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
37
Capteurs de force/pression:
• Les capteurs de force peuvent être utiles pour manipuler des objets à l’aide d’un bras robotisé (mesure de contact, contrôle en force, limites de sécurité, etc.)
• Ils existent sous différentes technologies, voici un exemple utilisant des résistances piézoélectriques:
Capteurs usuels
Exemple: capteurs de force de Honeywell,http://content.honeywell.com/sensing/prodinfo/force/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
38
Capteurs de contact:
• Capteurs donnant un signal binaire (interrupteurs) lors d’un contact physique. Ils sont faciles à interfacer et peuvent aider à la navigation sécuritaire d’un robot.
Capteurs usuels
• Ils peuvent également être regroupés sous forme de pare-chocs instrumenté.
Exemple: interrupteurs de contact de Omron, http://www.omron.ca/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
39
Système de positionnement global GPS: permet d’obtenir la position en longitude et latitude sur le globe.
• Précision de plusieurs mètres si utilisé de façon conventionnelle
• Utilisation du GPS différentiel pour améliorer la précision. Possibilité d’atteindre des précisions de quelques centimètres.
Capteurs usuels
Référence web: http://www.wordiq.com/definition/Global_Positioning_System
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
40
Capteurs à ultrasons (sonar): capteurs combinant un émetteur et un récepteur à ultrasons. Le temps de transport de l’onde permet de déterminer la distance relative d’objets extérieurs.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
41
Capteurs à ultrasons (sonar): capteurs combinant un émetteur et un récepteur à ultrasons. Le temps de transport de l’onde permet de déterminer la distance relative d’objets extérieurs.
Capteurs usuels
Exemple: Nomadic Sensus 200
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
42
Capteurs laser (laser rangefinders):
• Utilisation semblable à un capteur à ultrasons. Mesure de distance en mesurant le temps de transport du signal laser ou son déphasage à la réception. Précision de l’ordre de quelques mm.
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
43
Capteurs laser (laser rangefinders):
• Utilisation semblable à un capteur à ultrasons. Mesure de distance en mesurant le temps de transport du signal laser ou son déphasage à la réception. Précision de l’ordre de quelques mm.
Capteurs usuels
Exemple: SICK LMS200,http://www.sick.de/de/products/categories/auto/lasermeasurementsystemsindoor/en.html
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
44
Autres types de capteurs:
• Capteurs de lumière: capteurs infra-rouges, photorésistances, phototransistors, cellules photoélectriques
• Capteurs sonores: microphones
• Capteurs de températures
• Capteurs olfactifs
Capteurs usuels
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
45
Concept de base
Tout comme pour l’être humain, la vision d’un robot est de loin son « sens » le plus complexe. Mais c’est également le plus puissant puisqu’il permet d’obtenir une quantité impressionnante d’information provenant de son environnement.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
46
Concept de base
Tout comme pour l’être humain, la vision d’un robot est de loin son « sens » le plus complexe. Mais c’est également le plus puissant puisqu’il permet d’obtenir une quantité impressionnante d’information provenant de son environnement.
Au sein d’un robot, l’objectif de la vision artificielle est d’acquérir une certaine information visuelle de l’environnement, et de la traiter adéquatement de façon à mettre en forme une représentation adéquate de ce dernier.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
47
Principales utilités d’un système de vision au sein d’un robot mobile:
• Reconnaître le terrain (relief, obstacles, etc.)
• Recherche de balises et positionnement par rapport à un référentiel absolu
• Reconnaissance d’objets mobiles (caractéristiques, positionnement relatif, etc.)
• Traitement d’information visuelle abstraite (symboles écrits, expressions visuelles, etc.)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
48
Comment développer un tel système???
Quel type de lentille utiliser? Mon image sera-t-elle déformée?
Quel type de caméra utiliser? Combien de fps vais-je obtenir?
Qu’est-ce que la vision stéréo? Est-ce nécessaire?
Vision couleur ou noir et blanc?
Comment je traite mon image une fois numérisée?
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
49
Principaux types de caméras:
• Caméras analogiques: caméras avec capteur CCD de dimension variable retournant un signal analogique selon les standards NTSC, PAL ou SECAM (explications : http://www.alkenmrs.com/video/standards.html )
• Environ 30 fps
• Signaux sur câbles conventionnels (composite, coaxial ou RGB)
• Besoin d’une carte d’acquisition pour lire et numériser l’image
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
50
Caméras analogiques, exemples de fabricants• Caméras: PULNIX (http://www.pulnix.com)
• Cartes d’acquisition: Matrox (http://www.matrox.com/imaging/)
Caméra couleur analogique
Acquisition couleur, format PC/104+
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
51
Principaux types de caméras:
• Caméras numériques: caméras avec capteur CCD offrant un signal numérique en sortie
• Pas d’entrelacement comme pour caméras analogiques
• Possibilité de qualité d’image et de fps élévés
• Interfaces numériques standardisées (parallèle: LVDS ou série: CameraLink, FireWire)
• Besoin d’une carte d’acquisition pour lire image numérisée
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
52
Caméras numériques, exemples de fabricants• Caméras: PULNIX (http://www.pulnix.com)
• Cartes d’acquisition: Coreco (http://www.imaging.com)
Exemple: TMC6700, caméra couleur numérique, format LVDS ou Camera Link, 60fps (http://www.pulnix.com/Imaging/Released/c-c6700.html)
Exemple: PC-CamLink, lecture de caméras numériques selon le format Camera Link, transfert direct en mémoire (DMA) à 120Mo/s, possibilités de traitement sur carte (LUT)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
53
Principaux types de caméras:
• Caméras USB: caméras avec capteur CCD offrant un signal numérique sur le bus USB
• en version USB 1.1 (12Mb/s), permettent environ 15fps maximum en couleur
• pas besoin de cartes d’acquisition
• solution bon marché à performances moyennes
• avec l’arrivée du USB 2.0 (480Mb/s), performances beaucoup plus intéressantes
Exemple de caméra: Logitech QuickCam Pro 4000
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
54
Quelques configurations possibles:
• Caméra unique
• Caméras stéréoscopiques
• Caméras omnidirectionnelles
Possibilité d’utiliser ces configurations en combinaisons pour combiner leurs avantages
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
55
Quelques configurations possibles:
• Caméra unique: champ de vision restreint, possibilité d’orienter la caméra
Chien AIBO: http://www.sony.net/Products/aibo/ Champions RoboCup: http://www.robocup.de/germanteam/
Vision and Mobile Robotics Lab, CMU:http://www-2.cs.cmu.edu/~vmr/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
56
Quelques configurations possibles:
• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
57
Quelques configurations possibles:
• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras
Robot humanoïde COG du MIT:http://www.ai.mit.edu/projects/humanoid-robotics-group/cog/cog.html
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
58
Quelques configurations possibles:
• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras
Robot humanoïde COG du MIT:http://www.ai.mit.edu/projects/humanoid-robotics-group/cog/cog.html
Robots d’exploration du Jet Propulsion Laboratory:http://marsrovers.jpl.nasa.gov/home/index.htmlhttp://robotics.jpl.nasa.gov/people/mwm/visnavsw/aero.pdf
Référence web: http://www.cs.ubc.ca/spider/jhoey/review/review.html
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
59
Quelques configurations possibles:
• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
60
Quelques configurations possibles:
• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)
Projet VISTA à CMU:http://www.frc.ri.cmu.edu/projects/vista/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
61
Quelques configurations possibles:
• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)
Projet VISTA à CMU:http://www.frc.ri.cmu.edu/projects/vista/
Projet Robofoot de Polytechnique:http://robofoot.auto.polymtl.ca/accueil.html
Référence web: http://www.cis.upenn.edu/~kostas/omni.html
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
62
Quelques outils de développement:
• OpenCV: Open Souce Computer Vision Library, librairie C/C++ contenant une panoplie de méthodes usuelles en vision artificielle (http://www.intel.com/research/mrl/research/opencv/)
• CMVision: Color Machine Vision, librairie C contenant quelques éléments utiles pour vision couleur en temps réel (http://www-2.cs.cmu.edu/~jbruce/cmvision/)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
63
Quelques outils de développement:
• CVIPtools: librairie d’outils utiles au développement d’applications en vision artificielle (méthodes usuelles, interfaces de commande, etc.) (http://www.ee.siue.edu/CVIPtools/)
• Mathworks Image Acquisition Toolbox et Image Processing Toolbox: permettent d’acquisitionner des images provenant d’une caméra et de faire différents traitements au sein de l’environnement Matlab (http://www.mathworks.com/products/imaq/) (http://www.mathworks.com/products/image/)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
64
Quelques outils de développement:
Certains fabricants de matériel de vision par ordinateur développent leurs propres librairies, souvent adaptées à leur propre matériel pour de meilleures performances. Ces librairies sont rarement gratuites. Exemple:
• Matrox Imaging Library: (http://www.matrox.com/imaging/products/mil/)
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Vision artificielle
65
Références:
• B. Klaus, P. Horn. Robot Vision. The MIT Press, Boston, USA, 1986.
• R. C. Gonzalez. Digital Image Processing. Prentice Hall, New Jersey, USA, 2002.
• G. Dudek, M. Jenkin. Computational Principles of Mobile Robotics. Cambridge University Press. Cambridge, UK, 2000.
• CVonline: The Evolving, Distributed, Non-Proprietary, On-Line Compendium of Computer Vision. http://homepages.inf.ed.ac.uk/rbf/CVonline/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
66
• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
67
• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.
• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
68
• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.
• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.
• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
69
• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.
• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.
• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner
estiméfiltre
source1
sourceN
. . .
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
70
• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.
• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.
• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner
• Le filtre de Kalman est une technique pouvant donner un estimé à erreur minimale
estiméfiltre
source1
sourceN
. . .
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
71
Quelques exemples de redondance
Robot mobile:Position obtenue de l’odométrie (encodeurs optiques) et d’un système de positionnement p.r à un référentiel fixe (vision, GPS).
fusionposition x
y
odométrie 1 ... n
gyro/boussole
GPS G Gx y
vision V V Vx y
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
72
Quelques exemples de redondance
Véhicule aérien:Position obtenue d’un système GPS et d’une centrale inertielle.
fusionposition, orientation
x
y
z
xyzRRR
GPS G G Gx y z
IMU(centrale inertielle)
z zx y x yA A A
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
73
Quelques exemples de redondance
Véhicule sous-marin:Position obtenue d’un système à ultrasons (exemple: http://www.ixsea.com/php/contenu/en/p-lbl_system.php) et d’une centrale inertielle.
fusionposition, orientation
x
y
z
xyzRRR
ultrasons U U Ux y z
IMU(centrale inertielle)
z zx y x yA A A
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
74
Filtre de Kalman: un aperçu
• Ensemble d’équations mathématiques offrant une méthode numérique efficace (récursive) de la méthode des moindres carrés (http://mathworld.wolfram.com/).
• Ce filtre est intéressant pour donner un estimé de l’état actuel du système en fusionnant divers capteurs
• Ces capteurs peuvent donner des informations différentes, avec des niveaux de bruit différents, et à des intervalles de temps différentes.
Référence web: http://www.cs.unc.edu/~welch/kalman/
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Capteurs redondants et fusion d’information
75
Filtre de Kalman: un aperçu
Source: G. Welch, G. Bishop. An Introduction to the Kalman Filter. http://www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdf
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Interfaces avec ordinateurs de bord
76
• Pour un robot mobile, le système de perception se doit d’être programmé sur l’ordinateur de bord.
• Cet ordinateur doit donc interfacer adéquatement les différents capteurs du robot.
• Différents types de capteurs = différents types d’interfaces.
ELE3100, Projets de génie électrique:
systèmes de perception pour robots mobiles
Interfaces avec ordinateurs de bord
77
Principales interfaces disponibles sur un ordinateur embarqué:
• Connection directe du capteur: CAN, I2C, RS232, RS422, RS485, USB, IEEE-1394 (FireWire), I2C, Ethernet, port parallèle
• Connection via une carte d’entrées/sorties: bus PCI (PC/104+), bus ISA (PC/104)
Référence web: http://www.interfacebus.com/Interface_Bus_Types.html
Top Related