Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde
description
Transcript of Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde
![Page 1: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/1.jpg)
Adriano MeloFilipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison
![Page 2: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/2.jpg)
Roteiro
• Realidade Aumentada• Motivações• Aplicações• ARToolkit
oFuncionamentooArquitetura
• Conclusão
![Page 3: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/3.jpg)
Cenário
![Page 4: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/4.jpg)
Sistemas que misturam cenários do ambiente
Sobreposição de cenários VIRTUAIS
em cenários REAIS
O que é Realidade Aumentada?
![Page 6: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/6.jpg)
Definição
• Definição de Ronald Azuma:oCombinação de elementos virtuais com o
ambiente realo Interação e processamento em tempo realo Concebida em três dimensões
![Page 7: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/7.jpg)
O que é Realidade aumentada:Combinação de elementos
• Combinar nem sempre é igual a adicionar
• Combinar não inclui apenas informações visuais (Enkin)
![Page 8: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/8.jpg)
O que é Realidade aumentada:Interação em tempo real
“Using AR technology, users can interact with a combination of real and virtual objects in a natural way.”“In Confluence of Computer Vision and Interactive Graphics
for Augmented Reality“
![Page 9: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/9.jpg)
O que é Realidade aumentada:Informação em 3D
Iluminação dependente da posição do sol (controladopelo usuário).
![Page 10: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/10.jpg)
Motivação: Um exemplo
![Page 11: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/11.jpg)
Motivação: Um exemplo
• O problema
o O cirurgião não pode olhar para a tela e para o paciente ao mesmo tempo
o Olhar para a tela enquanto opera o paciente não é ergonômico
o A tela é 2D, enquanto que o corpo do paciente é 3D
![Page 12: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/12.jpg)
Motivação: Um exemplo
• A Visão
o A informação deve ser mostrada onde ela é necessária
o O usuário deve poder acessar e interagir com a informação de maneira ergonômica
o A informação deve ser apresentada em três dimensões, como o objeto da aplicação
![Page 13: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/13.jpg)
Aplicações
Médica
• The heARt-Project: Cirugia cardíaca minimamente invasiva.
• MIT: Integração de dados de ressonância magnética e de eletroencefalograma para suporte à cirugia cerebral.
![Page 14: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/14.jpg)
Aplicações
Manutenção, reparos e produção
• BMW: The “Intelligent Welding Gun”
• Boeing: “Augmented wiring”
![Page 15: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/15.jpg)
Aplicações
Visualização de dados científicos
• Educação• Studierstube: Construct3D Application
![Page 16: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/16.jpg)
Outras áreas de Atuação• Militar• Entretenimento• Petroquímica
![Page 17: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/17.jpg)
Dificuldades de Implementação• Cálculos para construção da imagem virtual
para o ponto de vista do usuário• Saber a escala e o alinhamento• Realizada em tempo real • Posicionamento o mais preciso possível
CUSTOSO
![Page 18: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/18.jpg)
Solução
• ARToolkit
![Page 19: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/19.jpg)
O que é ARToolkit?• Sistema baseado em tracking (rastreamento)
• Calcula a posição real da câmera e a orientação relativa de um marcador
![Page 20: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/20.jpg)
ARTookit como soluçãoNão exige aquisição de material muito
robusto e caroGratuita Disponibiliza o código-fonte
• Transporte para diversas plataformas • Adapta-se a diversas aplicações• Difundida em meio aos estudantes
![Page 21: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/21.jpg)
Como ARToolkit Ajuda?• Usa algoritmos com conceitos de cálculo
de matrizes (álgebra)• Calcula a posição no espaço real da
câmera e sua orientação em relação à marcadores
• Programador preocupar-se apenas em sobrepor cenários
• Abstração dos cálculos de mapeamento
![Page 22: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/22.jpg)
MarcadoresFiguras geométricasContém símbolos no interiorRastreamento estima:
• Posição• Orientação
![Page 23: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/23.jpg)
Extração de Imagem• Imagem limiarizada (preto e branco)
• Identifica vértices das regiões quadradas• Compara os símbolos com os gabaritos dos
marcadores já cadastrados• Os cálculos são feitos caso haja semelhança
![Page 24: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/24.jpg)
Algoritmo• Baseia-se na posição encontrada e no
tamanho conhecido do padrão• Relaciona as coordenadas por meio de uma
matriz 3x4 (matriz transformação)
• Multiplicação de uma matriz transformação "T" por um ponto 3D no marcador (Xm,Ym,Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc,Yc,Zc)
![Page 25: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/25.jpg)
Visão Geral
![Page 26: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/26.jpg)
Funcionamento
• Calibração do sistema
• Captura da imagem de entrada o Sequência de imagens da câmera de video
• Busca pelos marcadoreso As imagens capturadas são convertidas para
uma imagem binária para a identificação de padrões (quadrados pretos)
• Cálculo da posição/orientação da câmerao Relativas aos quadrados pretos
![Page 27: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/27.jpg)
Funcionamento• Identificação de marcadores
o Verifica se o símbolo dos marcador casa com algum padrão na memória.
• Inserção de imagens virtuaiso Usando transformações 3D, a imagem é
orientada e posicionada para ser posta no marcador.
• Renderização da imagem finalo A imagem é renderizada em cima do marcador
![Page 29: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/29.jpg)
Calibragem da câmera• É desejável saber os parâmetros da câmera
para posicionar com mais precisão os objetos virtuais sobre a cena real
• Principais propriedades extraídas da calibragem: – distorções de lente, – ponto central da câmera– distância focal da câmera
![Page 30: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/30.jpg)
Calibragem da câmera
![Page 31: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/31.jpg)
ARToolkitFramework
Arquitetura
![Page 32: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/32.jpg)
Arquitetura
• Quatro módulos:
o AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração.
o Video Module: conjunto de rotinas que encapsulam a captura de frames de vídeo padrão
o Gsub Module: conjunto de rotinas gráficas baseadas nas bibliotecas OpenGL e GLUT
![Page 33: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/33.jpg)
Arquitetura
![Page 34: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/34.jpg)
Arquitetura
•Metáfora de pipeline:
o Video -> Tracking -> Display
o Permite fácil troca de módulos
![Page 35: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/35.jpg)
E o quarto módulo?
• Gsub_Lite Module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas
![Page 36: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/36.jpg)
Limitações
• Marcadores necessitam estar sempre (e totalmente) à mostrao Pode limitar o tamanho e movimento dos objetos virtuais
• Orientação do marcador relativa à câmerao Inclinação do marcador reduz precisão
• Tamanho do marcadoro Marcadores maiores = distâncias maiores
![Page 37: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/37.jpg)
Limitações
•Condições de iluminaçãoo Iluminação direta sobre o marcador
pode causar problemas de reconhecimento
•Complexidade do marcadoro Figuras simples e não simétricaso Maior complexidade = Menor alcance
![Page 38: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/38.jpg)
Projetos • The BlackMagic kiosk
• Magic Book
• PyARTK
• Augmented Reality Encyclopedia
• AR Tower Defense
• ARToolkit on Iphone
• E muitos outros...
![Page 39: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/39.jpg)
Dúvidas?
![Page 40: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.fdocument.pub/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/40.jpg)