Post on 14-May-2015
24/10/2010
1
SBIA 2010# 1
Desafios da Inteligência Artificial: Desafios da Inteligência Artificial:
Pesquisa e Desenvolvimento de Robôs Pesquisa e Desenvolvimento de Robôs
Móveis e Veículos AutônomosMóveis e Veículos Autônomos
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel – LRM – Http://www.lrm.icmc.usp.br/INCT – Sistemas Embarcados Críticos – Http://www.inct-sec.org/
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos
SBIA
SBRN
JRI-LARS
SBIA 2010# 2
Laboratório de Robótica Móvel – ICMC/USP
Robôs Móveis e Veículos Autônomos: Robôs Móveis e Veículos Autônomos:
Pesquisa, Desenvolvimento e Desafios Pesquisa, Desenvolvimento e Desafios
na área da Inteligência Artificialna área da Inteligência Artificial
24/10/2010
2
SBIA 2010# 3
Robôs Móveis e Veículos Autônomos:Pesquisa, Desenvolvimento e Desafios na área da I.A.
• Parte I: Domingo, 24 de Outubro de 2010
Introdução à Robótica Móvel Inteligente
História, Evolução, Sensores e Atuadores, Arquit. de Controle
Técnicas e Algoritmos aplicados em Robôs Inteligentes
Localização, Mapeamento, Navegação e Controle
• Parte II: Domingo, 24 de Outubro de 2010
Desenvolvimento de Projetos de Robótica Inteligente
Mapeamento de Terrenos, Visão Computacional
Veículos Móveis Autônomos: Terrestre e Aéreo
Apresentação de Aplicações de Robótica Inteligente
SBIA 2010# 4
Introdução a Robótica
• Robôs: O Início... RUR (Rossum's Universal Robots)
Ficção Científica
24/10/2010
3
SBIA 2010# 5
Introdução a Robótica
• Robôs Manipuladores de Base Fixa:
Braços Manipuladores – Aplicações Industriais
Robôs SoldadoresRobôs de PinturaExemplos: PUMA, KUKA, CanadaARM
Robix
SBIA 2010# 6
Introdução a Robótica
• Robôs Manipuladores de Base Fixa:
Braços Manipuladores – Aplicações Industriais
Tic-Tac-Toe
Scripts deControle do Braço Robótico
24/10/2010
4
SBIA 2010# 7
Introdução a Robótica
• Robôs Manipuladores de Base Fixa:
Braços Manipuladores – Tele-Operados
Justin (Nasa)“copiando movimentos”
Não é tão fácil como parece:-Visão 3D (profundidade)- Tato (feed-back / “haptic”)
Robonaut / Justin Nasa
SBIA 2010# 8
Introdução a Robótica
• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente
* Robôs Móveis Tele-Operados, Guiados por Marcações (AGV)
* Robôs Móveis Semi-Autônomos
1912 - Electric Dog: http://davidbuckley.net/DB/HistoryMakers.htm
Mars RoversAGV – Automated Guided VehiclesRobôs Submarinos
24/10/2010
5
SBIA 2010# 9
Introdução a Robótica
• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente
* Robôs Móveis Tele-Operados
1997 Mars Rover:
Soujourner / PathFinder
Ooops!!!
SBIA 2010# 10
Introdução a Robótica
• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente
* Robôs Móveis Tele-Operados
Data Glove – Redes Neural Artificial para Reconhecer GestosControle Remoto do Veículo (apenas comandos)
24/10/2010
6
SBIA 2010# 11
Introdução a Robótica• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente
Em busca do desenvolvimento de Robôs Móveis Autônomos e Inteligentes
History: http://davidbuckley.net/DB/HistoryMakers.htm
Nova Geração: Pioneer, iRobot Roomba, Boston Dynamics Big Dog, Sony Aibo, Honda Asimo, Aldebaran NÃO
Asimo - Blooper
SBIA 2010# 12
Introdução a Robótica• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente
Em busca do desenvolvimento de Robôs Móveis Autônomos e Inteligentes
Darpa Grand Challenge
Robot Nao from Aldebaran
Darpa Urban Challenge
Nao
24/10/2010
7
SBIA 2010# 13
Robôs MóveisScientific American - January 2007
A Robot in Every HomeThe leader of the PC revolution predicts that the next hot field will be roboticsBy Bill Gates
Imagine being present at the birth of a new industry. It is an industry based on groundbreaking new technologies, wherein a handful of well-established corporations sell highly specialized devices for business use and a fast-growing number of start-up companies produce innovative toys, gadgets for hobbyists and other interesting niche products. But it is also a highly fragmented industry with few common standards or platforms. Projects are complex, progress is slow, and practical applications are relatively rare. In fact, for all the excitement and promise, no one can say with any certainty when--or even if--this industry will achieve critical mass. If it does, though, it may well change the world.
Of course, the paragraph above could be a description of the computer industry during the mid-1970s, around the time that Paul Allen and I launched Microsoft.
SBIA 2010# 14
Elementos dos Robôs Móveis• Robô Móvel: Agente capaz de PERCEBER o ambiente e
AGIR sobre este ambiente
Percepção: Sensores
Ação: Atuadores
Agente: Comportamento
DecisãoControle
24/10/2010
8
SBIA 2010# 15
• Robô Móvel: Agente capaz de PERCEBER o ambiente e
AGIR sobre este ambiente
Elementos dos Robôs MóveisPercepção: Sensores
SBIA 2010# 16
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de Sensores: Sensores usados no LRM
24/10/2010
9
SBIA 2010# 17
Tipos de Sensores
Elementos dos Robôs MóveisPercepção: Sensores
Encoder
Bumper
Sonar
SBIA 2010# 18
Tipos de SensoresSensores LASER (Lidar - Light Detection and Ranging)
Elementos dos Robôs MóveisPercepção: Sensores
Wikipedia: Lidar
24/10/2010
10
SBIA 2010# 19
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de Sensores: Veículos do LRM Instrumentados com Sensores
Sensores:Laser Sick (x2), GPS, Bússola, Câmera Vídeo, Câmera Termal, Câmera Estéreo,
Encoders (roda e barra da direção), Acelerômetro (Unidade Inercial - IMU)
http://www.lrm.icmc.usp.br/
SBIA 2010# 20
Sensores: Laser SICK, GPS, Câmera de Vídeo Adicional: Bússola, IMU (Inercial)
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de SensoresSensores LASER (Lidar) + GPS + Câmera
Veículo equipado com Laser SICK LMS2xx Resolução: ~10 mmDistância Máxima: 80 mts - Varredura: 180º de 0.5 em 0.5 graus
Sw-Demo
Projeto Sena
24/10/2010
11
SBIA 2010# 21
Posição do veículo
Trajetória planejada
Obstáculos
Dados do laser
Dados da câmera
Sistema de conduçãoautônoma / assistida
SBIA 2010# 22
Sistema de conduçãoautônoma / assistida
24/10/2010
12
SBIA 2010# 23
Sistema de conduçãoautônoma / assistida
A Driving Assistance System for Navigation in Urban Environments
Leandro C. Fernandes, Maurício A. Dias, Fernando S. Osório, Denis F. Wolf
IBERAMIA 2010
SBIA 2010# 24
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de SensoresSensores LASER (Lidar) – Hokyuo + Base Giratória
24/10/2010
13
SBIA 2010# 25
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de SensoresSensores LASER (Lidar) – Hokyuo + Base Giratória
Modelo VRML 3D criado usando Laser Hokuyo
SBIA 2010# 26
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de Sensores: Câmera Estéreo
Videri STOC (Stereo-on-a-Chip) Video Camera :Fornece o mapa de disparidade (depth field)
24/10/2010
14
SBIA 2010# 27
Elementos dos Robôs MóveisPercepção: Sensores
Tipos de Sensores: Camera Termal (PathFindIR Flir)
SBIA 2010# 28
Tipos de AtuadoresAtuadores mais comuns...
• Servo Motor
• Motor DC
• Motor de Passo (Step-Motor) Servomotor
Elementos dos Robôs MóveisPercepção: Sensores
24/10/2010
15
SBIA 2010# 29
Tipos de Atuadores: Veículo Elétrico Autônomo (LRM-ICMC)
Elementos dos Robôs MóveisPercepção: Sensores
SBIA 2010# 30
Tipos de AtuadoresAtuadores: Robôs Móveis
C0
C1
C2 C3
C4
C5
C7 C6
M1 M2
θ
X
Y
φ
Elementos dos Robôs MóveisAção:
Atuadores
24/10/2010
16
SBIA 2010# 31
Robótica Móvel
Sistemas Robóticos Móveis Inteligentes• Localização: Onde estou e para onde vou?
•Mapas: • Criação: Mapeamento
• Manutenção: Adicionar, Remover elementos
• Uso: Planejamento de Trajetórias
• Localização e Mapeamento Simultâneo (SLAM)
•Planejamento e Comportamentos
• Navegação : Executa tarefa e evita obstáculos
SBIA 2010# 32
Comportamentos: Controle de Robôs
Arquiteturas de Controle
Robôs Móveis: Agentes Autônomos dotados de SENSORES e ATUADORES
Integração Sensorial-Motora
Como Agir?
Como Interpretar as Percepções?
Como Tomar Decisões?
24/10/2010
17
SBIA 2010# 33
ARQUITETURAARQUITETURA
Arquiteturas de Controle
ReativaPURA
DeliberativaPURA
MISTA
Múltiplos Comportamentos
Hierárquica Horizontal
Hierárquica Vertical
Híbrida
SBIA 2010# 34
Arquitetura REATIVA [Pura]
Arquiteturas de Controle
Reativo:Reativo: Percepção => Ação
- Reage diretamente aos estímulos externos;
- Esquema sensorio-motor;
Comportamentos Típicos: Reactive Behaviour
- Vagar pelo ambiente, evitando colisões e obstáculos;
- Acompanhar uma parede ou corredor;
- Comportamento direcionado pela luz;
- Ir em direção a uma determinada orientação
Composição de Comportamentos: Direção x Obstáculo
24/10/2010
18
SBIA 2010# 35
• Reativo: Integração Sensorial-Motora
IF S1 < Limite andS2 < Limite andS3 < Limite andS4 < Limite
THEN Action (Go_Forward)
IF S1 < Limite andS2 < Limite andS3 > Limite andS4 > Limite
THEN Action(Turn_Left)
IF S2 > Limite andS3 > Limite andS2 > S3 andS1 > S4
THEN Action(Turn_Right)
Controle Reativo
Evitar colisões e obstáculos Sensorial-Motor: Sentir => Agir
S0
S1
S2 S3
S4
S5
S7 S6
M1 M2
Arquitetura REATIVA [Pura]
Arquiteturas de Controle
SBIA 2010# 36
Simulador do Khepera Robô Khepera
> 2 DC brushed servo motors with incremental encoders> 8 infrared proximity and ambient light sensors (SFH900)
Arquitetura de Controle: Reativo
24/10/2010
19
SBIA 2010# 37
Campos Potencias
SBIA 2010# 38
Arquitetura de Controle: Reativo
Aplicações práticas comerciais:
Reativo
24/10/2010
20
SBIA 2010# 39
Arquitetura DELIBERATIVA [Pura]
Arquiteturas de Controle
Deliberativo:Deliberativo: Planejamento => Seqüência de Ações
- Possui conhecimento sobre a situação do robô e do ambiente;
- Usualmente baseado no uso de mapas e planejamento de trajetórias.
Comportamentos Típicos: Deliberative Behaviour
- Execução de scripts de ações planejadas previamente;
- Executar uma seqüência de ações previamente determinada;
- Seguir trajetórias especificadas com uso de mapas;
- Execução de Tarefas de Alto Nível;
SBIA 2010# 40
Arquitetura DELIBERATIVA [Pura]
Arquiteturas de Controle
SIMROB2D - Referência: Farlei Heinen (Orientador: Fernando Osório )Robótica Autônoma: A integração entre planificação e comportamento reativo. 2000.
Robô tipo Khepera: Sensores: 5 IR / Atuadores: 2 motores (diferencial)
SIMROB2DDeliberativo
24/10/2010
21
SBIA 2010# 41
Arquiteturas de Controle
DELIBERATIVO: SIMROB2D - Referência: Farlei Heinen (Orientador: Fernando Osório )
MAPA DO AMBIENTE - Geometrico Espaço de Configuração
Grafo de Visibilidade
SBIA 2010# 42
Arquitetura DELIBERATIVA [Pura]
Arquiteturas de Controle
A*: mapas métricos (grid)
24/10/2010
22
SBIA 2010# 43
Arquiteturas de ControleA* Search: [Tutorial SBGames07SBGames07]Busca Heurística de Caminhos
[Lester 2004, 2007]
Março 2010
SBIA 2010# 44
Arquiteturas de Controle
# 44
CSBC 2009 - JAI
Arquiteturas
CONTROLECONTROLE: : ArquiteturasArquiteturas ReativasReativas
Solução?
Buscar aproveitar o que de melhor tem cadauma das duas abordagens...
ARQUITETURA HIERÁRQUICAARQUITETURA HÍBRIDA
CONTROLECONTROLE: : ArquiteturasArquiteturas DeliberativasDeliberativas
Ambas possuem Ambas possuem problemas e limitações!problemas e limitações!Abordagens “puras”
24/10/2010
23
SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D
Veículos Autônomos: Simulação
de Estacionamento
Sensores: Sonar (configurável pelo usuário) e OdômetroAtuadores: Cinemática AckermanUsual: 6 sonares com posições específicas, odômetro, controle de velocidade e de giro da direção
SBIA 2010# 45
Arquitetura de Controle Híbrida
SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D
Aprendizado de um autômato (FSA) usando uma Rede Neural Artificial
Sensores: Sonar (configurável pelo usuário) e Odômetro Atuadores: Cinemática Ackerman (velocidade e giro da direção)
Searching Parking Space Positioning Outside Entering
Positioning Inside Aligning
SBIA 2010# 46
Arquitetura de Controle Híbrida
24/10/2010
24
Atributos de entrada da rede: seis sensores e uma indicação do estado atual (FSA)
Valores de saída da rede neural: estado dos atuadores (velocidade e direcionamento), indicação do próximo estado do processo de estacionamento
Aprendizado: Exemplos de uma pessoa controlando o estacionamento do veículo
Sensores de Proximidade [0..5]
Estado Inicial
RNA
Giro daDireção
Velocidade Próximo Estado
SBIA 2010# 47
IJCNN 2006
InfocompJournal 2007
M.HeinenF.Osório
Arquitetura de Controle Híbrida
Desvio de obstáculos
Vector Field Histogram - VFH
24/10/2010
25
SBIA 2010# 49
Robótica Móvel
Sistemas Robóticos Móveis Inteligentes• Localização: Onde estou e para onde vou?
•Mapas: • Criação: Mapeamento
• Manutenção: Adicionar, Remover elementos
• Uso: Planejamento de Trajetórias
• SLAM
•Planejamento e Comportamentos
• Navegação : Executa tarefa e evita obstáculos
SBIA 2010# 50
Localização
Destino
???
Estimar a posição do robô em um ambiente
previamente conhecido, utilizando
informações obtidas por sensores.
24/10/2010
26
SBIA 2010# 51
Propagação do Erro de Localização
SBIA 2010# 52
Localização – Tipos de problemas
Tracking• Posição inicial é conhecida
• Busca local (correção de odometria)
Localização global• Posição inicial não é conhecida
• Busca global
24/10/2010
27
SBIA 2010# 53
Localização - Soluções
Representação da posição do robô
• Distribuição Normal (Filtro de Kalman)
•Malha de células (Grid / Markov)
• Partículas/Amostras (Monte Carlo)
Framework básico: Filtro de Bayes
SBIA 2010# 54
Localização – Filtro de Kalman (EKF)
Atuação (movimento do robô): aumento de incerteza
Percepção (sensores): diminuição da incerteza
Sebastian Thrun
24/10/2010
28
SBIA 2010# 55
Filtro de Partículas
SBIA 2010# 56
Filtro de Partículas - Exemplo
Sebastian Thrun
24/10/2010
29
SBIA 2010# 57
Controle Híbrido Robusto Controle Híbrido Robusto –– COHBRA / SimRob3DCOHBRA / SimRob3D
Arquitetura de Controle Híbrida
Controle
HíbridoArquiteturaCOHBRA
F. OsórioF. HeinenHIS 2002SBC JAI 2005
SBIA 2010# 58
Controle Híbrido Robusto Controle Híbrido Robusto –– COHBRA / SimRob3DCOHBRA / SimRob3D
Arquitetura de Controle Híbrida
Arquitetura COHBRA
MAPAS DO AMBIENTE: Métrico / Topológico
- Mapa Métrico do tipo GRADE (Grid, Mapa de Ocupação)
- Mapa Métrico do tipo GEOMÉTRICO (Geometria do Ambiente)
24/10/2010
30
SBIA 2010# 59
Controle Híbrido Robusto Controle Híbrido Robusto
COHBRA / SimRob3DCOHBRA / SimRob3D
Arquitetura de Controle Híbrida
Arquitetura COHBRACOntrole HíBrido de Robôs Autônomos
SBIA 2010# 60
Controle Híbrido Robusto Controle Híbrido Robusto –– COHBRA / SimRob3DCOHBRA / SimRob3D
Arquiteturas de Controle
Controle Híbrido – TAREFAS:
- Localização: MCL (Monte-Carlo Localization)
- Planejamento de Trajetórias: A* (A Star)
- Controle e Navegação: Campos Potenciais
- Uso de Mapas do Ambiente:
� Mapa de Ocupação (Grid)
� Mapa Geométrico (Poligonal)
� Mapa de Conectividade (Topológico)
- Alteração dos Mapas:
� Inclusão de Obstáculos (Construçaõ de Mapas)
� Exclusão de Obstáculos (Adaptação de Mapas)
24/10/2010
31
SBIA 2010# 61
Navegação e Localização Simultâneas
FastSLAM
FastSLAM Odometria
Sebastian Thrun
SBIA 2010# 62
Localização e Mapeamento – Robô Guia de Museu
24/10/2010
32
SBIA 2010# 63
Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações
• Robôs Móveis: Monitoramento e Segurança
Robôs Móveis Tele-Operados
Robôs Móveis Autônomos
APLICAÇÕESAPLICAÇÕES
SBIA 2010# 64
INCTINCT--SEC / LRMSEC / LRM
GT 1 GT 1 -- RobôsRobôs TáticosTáticos parapara AmbientesAmbientes InternosInternos
� OBJETIVOS:
� Patrulhamento Indoor: Monitoramento de Ambientes
� Navegação em Ambientes Internos:
* Tele-Operado com Supervisão
* Controle Autônomo
� Detecção de Intrusos e de Situações Anômalas
� Sistemas de Visão para Navegação e Patrulhamento
� Estratégias em Sistemas Multirrobóticos
24/10/2010
33
SBIA 2010# 65
Equipe de Robôs para Missões TáticasRobôs de serviço/segurança – Principais objetivos:Patrulhar ambientes internos para detectar,identificar e reagir em situações de risco (invasão, fogo e ocorrências suspeitas)
Modos de controle: - Tele-Operação: Controlado remotamente por um usuário
(desviando de obstáculos)- Semi-Autônomo: A rota é definida por um usuário
(desviando de obstáculos)- Autônomo: Patrulhamento autônomo-Multi-Robô: Patrulhamento autônomo cooperativo
Funções principais:- Detectar: obstaculos, movimentos, fogo, situações anormais;- Inspecionar e Informar: link de áudio e vídeo bidirecional;- Reagir: evitar a exposição de pessoas a situações de risco;- Recarga autônoma: retorno à base de recarga de maneira autônoma
SBIA 2010# 66
Robôs MóveisRobôs Móveis e Sensores
• Pioneer DX and AT• Erratic Robot• SRV1 Blackfin• ASR Labs Robot (em desenvolvimento em São Carlos)
• Laser SICK LMS• Laser Hokuyo• On-board Cameras com pan-tilt• Stereo Vision (STOC – Stereo on a Chip)• Wireless Camera
Erratic – Era Mobi
Pioneer DX
SRV1
24/10/2010
34
SBIA 2010# 67
Teleoperação <=> Autonomia
Teleoperação:
• Controle remoto de Robôs Pioneer
Robôs localizados em São Carlos, SP (ICMC/USP)Controle localizado em Porto Alegre, RS (PUC/RS)
• Envio de dados de sensores (Video, Sonar, Laser)• Recepção de comandos de controle(Move, Turn, Stop)
Experimento:
Setembro de 2009
Curso a distância: Programação de robôs móveis usando as ferrametas Player/StageICMC/USP e PUC/RS
SBIA 2010# 68
Teleoperação: Resultados
- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes
sensor laser
Teleoperação <=> Autonomia
24/10/2010
35
SBIA 2010# 69
Teleoperação: Problemas
- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes
>> Internet - Lag: Atraso no envio e recepção de dados e comandos>> Internet - Connection Lost: Perda de conexão com o ponto de acesso>> Internet – Falta de segurança na transmissão de dados
Atraso:
Evitar colisões (supervisão local)
Conexão:
IP Móvel / Handover
Teleoperação <=> Autonomia
Navegação Topológica: Algoritmo Proposto e Simulação
RNA
FSM
D. Sales, F. Osório, D. Wolf
Navegação Autônoma Topológica
SBIA 2010# 70
24/10/2010
36
Navegação Topológica: Experimento Real
Navegação Autônoma Topológica
SBIA 2010# 71
Detecção de Intrusos: Experimento RealCâmera Térmica
FLIRPathFindIR
Navegação Autônoma Topológica
SBIA 2010# 72
24/10/2010
37
Navegação por Imagens: Experimento Real
SRV1
ArtigoPublicado IEEE LARS2010
Navegação Autônoma por Visão
SBIA 2010# 73
D. Sales, P. Shinzato,F. Osório, D. Wolf
SBIA 2010# 74
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
www.inct-sec.org
Denis Fernando Wolf – denis@icmc.usp.brFernando Santos Osório - fosorio@icmc.usp.brKalinka R. J. C. Branko - kalinka@icmc.usp.br
24/10/2010
38
SBIA 2010# 75
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
www.inct-sec.orgDenis Fernando Wolf – denis@icmc.usp.brFernando Santos Osório - fosorio@icmc.usp.brKalinka R. J. C. Branko - kalinka@icmc.usp.br
http://www.slideshare.net/
Search: CLEI 2010 Tutorial
Search: SBIA 2010 Tutorial
SBIA 2010# 76
Continua...
SBIA 2010 Tutorial