Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt...

Thiago M. Witt - MAC5743 - 20041

Colaboração Móvel com Realidade Aumentada

Thiago M. Wittwitt@ime.usp.br

Agenda

Augmented Reality Aplicações Problemas Projetos

– OCAR (Outdoor Collaborative AR)– SignPost 2– MARS– ETALA – Human Pacman– Outros Projetos

Augmented Reality

Enriquecimento da visão do mundo real percebida pelo usuário através da adição de elementos virtuais à imagem.

Estes elementos virtuais de alguma forma aumentam a cena real com informações adicionais

Exemplos famosos: Robocop, Top Gun

Augmented Reality (cont)

Equipamento geralmente consiste em um wearable computer com:– Capacete com display “see-through” (Head

mounted display, ou HMD), câmera de vídeo e sensores de movimento e direção.

– Mochila com central de processamento e renderização, sensores de posicionamento, interface wireless, baterias.

– Dispositivo para interação com o sistema– Também existem projetos de AR utilizando apenas

handhelds com câmera

Aplicações

Navegação em geral Visualização de informações sobre elementos

sendo observados (Ex: construções / exposições)

Colaboração entre unidade móvel com AR e unidade fixa (pesquisa de campo, campanhas militares)

Jogos e entretenimento

Problemas

Sincronização espacial entre o mundo real e virtual

Rastreamento dos movimentos do usuário Processamento de imagem Alto custo do equipamento Nada bonito de se ver (nem confortável)

OCAR (Outdoor Collaborative AR)

Interactive Media Systems Group,Vienna University of Technology, Austria

Sistema de navegação pela cidade de Vienna

Investiga como dois ou mais usuários podem interagir em tarefas como navegação e acesso a informações em ambientes outdoor com realidade aumentada.

Ajuda o pedestre a navegar pela cidade apresentando pontos de referência artificiais conduzindo-o ao destino desejado.

Algumas construções possuem informações associadas que podem ser acessadas a qualquer momento.

É possível criar anotações pessoais nas construções

Pesquisas para colaboração entre os usuários incluem:– Possibilidade de seguir outros usuários– Estabelecer e encontrar pontos de encontro– Uso de displays compartilhados para troca de

informações

Hardware usado– GPS Diferencial– Sensor de inércia– 2 sensores InterTrax2 para

monitorar a orientação do corpo e da cabeça

– Um pequeno painel preso ao pulso, para apresentação 2D

– Display “see-through”– Câmera VGA Firewire– Wireless LAN– Laptop Dell + placa 3D

SignPost 2

Desenvolvido pela mesma equipe do OCAR Sistema de navegação In-Door Visa facilitar a navegação do usuário por um

prédio desconhecido Usuário informa a posição atual e o destino e

o sistema o guia pelos corredores

SignPost 2

O sistema calcula o menor caminho entre a posição atual e o destino desejado e orienta o usuário usando setas e realce das portas a serem usadas.

Um modelo em miniatura do prédio mostrando a localização do usuário pode ser exibido para facilitar a navegação

Como neste caso não é possível confiar apenas em GPS para manter a posição do usuário atualizada, são utilizados símbolos especiais nas paredes em todo o prédio a cada 4 metros

SignPost 2

As imagens capturadas pela câmera são processadas e os símbolos nas paredes são reconhecidos, possibilitando a identificação da posição atual do usuário no prédio.

– A localização de todos os símbolos naturalmente deve estar pré-cadastrada no sistema.

– Reaproveitamento de símbolos é feito de maneira semelhante ao reaproveitamento de canais de transmissão de rádio.

As mudanças bruscas de orientação do usuário são detectadas com o sensor de inércia

SignPost 2

O sistema é composto por 4 sub-aplicações:– BAU (Building AUgmentation)

Rastreamento do usuário, geometria do prédio– AUG (AUGmentation)

Aumenta a cena real com o modelo virtual do prédio– WIM (World In Miniature)

Cria o modelo em miniatura do prédio com a posição atual do usuário

– NAV (NAVigation) Responsável por gerar o percurso e orientar o usuário

com setas e indicações

SignPost 2

Interação usando o PIP (personal interaction panel) Não detecta sozinho a posição inicial

SignPost 2 - AUG

SignPost 2 - WIM

SignPost 2 - NAV

SignPost 2

Problemas– Para um bom funcionamento, é necessário uma

alta densidade de marcadores nas paredes– O usuário tem que informar sua posição ao iniciar

o uso do sistema

Mobile Augmented Reality Systems Columbia University Computer Graphics and

User Interfaces Lab Em desenvolvimento desde 1996

Objetivos principais– Identificar tarefas genéricas que um usuário

móvel gostaria de executar usando um sistema sensível a contexto

– Desenvolver componentes de interface gráfica reutilizáveis para aplicações de realidade aumentada

– Combinar diferentes tecnologias de display como palmtops e óculos “see-through”

Dividido em 4 sub-projetos– Touring Machine– Mobile Journalist's Workstation – UIs for Indoor/Outdoor Collaboration– The MARS Authoring Tool

Touring Machine– Semelhante ao projeto OCAR– Guia usuário pelo campus da universidade– Permite associar conteúdo texto aos

monumentos e construções– Envia URLs para o browser do palmtop

Touring Machine

Mobile Journalist's Workstation– Estende o Touring Machine– Permite associar conteúdo multimídia às

construções como imagem, som e vídeo– Conteúdos de diferentes construções podem ser

linkados entre si– Conteúdos podem ser presos ao display ou fixos

no mundo

UIs for Indoor/Outdoor Collaboration– Permite que um usuário móvel seja monitorado

ou guiado por alguém remotamente– Usuário móvel pode relatar suas observações

para os usuários indoor– Todas as interfaces utilizam o mesmo repositório

compartilhado de informações sobre o campus

The MARS Authoring Tool

– Ferramenta de criação de conteúdo hypermedia para o ambiente MARS

– Desenvolvido usando Java3D– Permite a criação de uma narrativa envolvendo

múltiplas mídias e hyperlinks para narrativas de outros elementos do ambiente

Hardware usado– Laptop com aceleração 3D– GPS+GLONASS– See-through display– Sensor de orientação– WLAN (802.11a/b)– Handheld com um trackpad

no verso para manipulação do cursor

– Não utiliza câmera

Helsinki University of Technology, Finland Provê um meio de comunicação entre um

especialista e uma equipe de manutenção trabalhando num local remoto.

Unidade móvel no local de manutenção é controlada pelo especialista através do mouse, joystick ou sensor de orientação HMD (Head mounted display)

Features– Comunicação por voz com a equipe– Modelo virtual do sistema ou serviço a ser

reparado– Realidade aumentada do modelo virtual sobre o

sistema real, com informações sobre o modelo– Controle remoto da câmera no local de

manutenção– Visão estéreo do local remoto usando o HMD– Dispositivo apontador laser na unidade remota– Transferência de arquivos

Hardware – Unidade remota– Duas câmeras + laser

pointer– Suporte para movimento da

câmera– Laptop com WLAN

Hardware – Operadores remotos

– Computador preso ao cinto com mouse

– Um HMD com microfone e fones de ouvido

– Mini-câmera

Hardware – Especialista– Desktop com 2 placas 3D para visualização

estéreo– HMD com sensor de orientação (opcional)– Joystick (opcional)– Internet

Human Pacman

Mixed Reality Lab, National University of Singapore

Financiado pelos militares Traz o famoso jogo dos anos 80 para as ruas

do campus Apenas um dos vários projetos envolvendo

realidade aumentada do grupo

Human Pacman

Jogadores incorporam os “personagens” pacman e fantasma

O mapa das ruas do campus vira o mapa do jogo

Biscoitos virtuais aparecem nas ruas e são coletados ao se passar por eles

Power-ups são dispositivos reais que podem ser coletados ao segurá-los

Fantasmas pegam o pacman segurando seu ombro

Human Pacman

Jogadores podem se comunicar Ajudantes usando desktops podem ter uma

visão geral do mapa e guiar os jogadores em tempo real

Human Pacman

Outros Projetos

Mixed Reality Lab– Magic Cubes– 3D Live– Touch-Space

ARQuake UNC Ultrasound Augmented Reality Research TransVision The Invisible Train

ARQuake

Magic Cubes

Invisible Train

Referências

Mixed Research Lab– http://mixedreality.nus.edu.sg/RESEARCH.HTM

Studierstube Augmented Reality Project– http://studierstube.org/research_master.php

MARS– http://www1.cs.columbia.edu/graphics/projects/mars/mars.html

ETALA– http://www.automation.hut.fi/etala/

ARQuake– http://wearables.unisa.edu.au/projects/ARQuake/www/index.html

Tinmith Project– http://www.tinmith.net/tinmith.htm

Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt...

Documents

Transcript of Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt...

Yeshua Marcos Witt

.witt n.07

À54 - ime.usp.br

Meltdown e Spectre - ime.usp.br

Broschüre Katarina Witt Stiftung

Schnee Witt Chen

.witt n.01

Sol le witt

Arquitetura do DCOM Alexandre Ricardo Nardi nardi@ime.usp.br.

.witt n.03

Partituras Marcos Witt Alabadle

PowerLoom Anderson Carlos D. Sanches anderson anderson@ime.usp.br.

8.Alabadle-Marcos Witt

.witt n.09

Witt Gruppe Unternehmensbroschüre

Mariana Zavagna Witt

.witt n.04

Oficina temática 1 Alfabetização numérica Prof. Antonio Carlos Brolezzi brolezzi@ime.usp.br brolezzi brolezzi@ime.usp.br brolezzi.

USP – UNIVERSIDADE DO ESTADO DE SÃO PAULO Alunos: Rogério Guaraci dos Santos - rgsantos@ime.usp.br Giulian Dalton Luz - gdaltonl@ime.usp.br Métodos Ágeis.

Visão Geral do Arcabouço.NET Alexandre Ricardo Nardi nardi@ime.usp.br.