UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro...
Transcript of UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro...
![Page 1: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/1.jpg)
UNIVERSIDAD DE EXTREMADURA
Alumno: Tutor:
Leandro Pavón Serrano Pedro M. Núñez Trujillo
Septiembre 2011, Cáceres
Escuela PolitécnicaI. T. Telecomunicación. Sonido e Imagen
Proyecto Fin de Carrera
Virtual Blackboard: colour and human gestures motion tracking
![Page 2: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/2.jpg)
2
Virtual Blackboard: colour and human motion tracking
2/31
Objetivos
● Explorar sistemas de tracking de objetos en vídeo
● Implementar componente que funcione en tiempo real
● Crear interacción del usuario a través de una cámara
![Page 3: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/3.jpg)
3
Virtual Blackboard: colour and human motion tracking
3/31
Aplicaciones
Camimic ARMolePizarra Virtual RehabilitaciónFiltro de Color ARToolKitFiltro de Distancia OSGFiltro de Kalman OSGArtOpenCV OSGAL
![Page 4: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/4.jpg)
4
CAMIMIC: Pizarra Virtual
4/31
kinectComp
Imagen +Profundidad
Filtro deDistancia
Filtro de Color
Camshift
Cámara
Imagen
Filtro deColor
Filtro de Forma
Filtro de Kalman
PizarraVirtual
![Page 5: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/5.jpg)
5
CAMIMIC: Pizarra Virtual
5/31
kinectComp – Una kinect para todos
Network
kinectComp
mycomponentCompmycomponentComp
moleComp
![Page 6: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/6.jpg)
6
CAMIMIC: Pizarra Virtual
6/31
Kinect Sensor
– Disponible desde Noviembre 2010
– Funciona en GNU/Linux, MacOS y Windows
– Usa una cámara RGB y otra infrarroja
– Configuración más sencilla que cámaras estéreo
– Menos precisión que el LASER pero más barato
– Open Source driver: OpenKinect (libfreenect)
![Page 7: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/7.jpg)
7
CAMIMIC: Pizarra Virtual
7/31
Kinect – ¿Cómo funciona?
LámparaIR
CámaraIR
CámaraRGB
Mapa deDisparidadMapa de
Disparidad-- ==
![Page 8: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/8.jpg)
8
CAMIMIC: Pizarra Virtual
8/31
Kinect – Sombras
![Page 9: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/9.jpg)
9
CAMIMIC: Pizarra Virtual
9/31
Kinect – Coordenadas esféricas o cartesianas
![Page 10: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/10.jpg)
10
CAMIMIC: Pizarra Virtual
10/31
Kinect – Calibración
Usando RGBDemo (Nicolas Burrus)
![Page 11: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/11.jpg)
11
CAMIMIC: Pizarra Virtual
11/31
Filtro de Distancia
![Page 12: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/12.jpg)
12
CAMIMIC: Pizarra Virtual
12/31
Filtro de Color y CAMShift
![Page 13: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/13.jpg)
13
CAMIMIC: Pizarra Virtual
13/31
Detección de círculos – Hough Transform
![Page 14: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/14.jpg)
14
CAMIMIC: Pizarra Virtual
14/31
Tracking – Filtro de Kalman
![Page 15: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/15.jpg)
15
ARMole: Juego de RA para rehabilitación
15/31
cameraComp
Imagen
TrackingARToolKit
Inteacción
ARMole
Escena 3DOSG
Control porGUI
![Page 16: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/16.jpg)
16
ARMole: Juego de RA para rehabilitación
16/31
¿Qué es la Realidad Aumentada?Fusión entre el mundo real y el virtual
MundoReal
MundoReal Mundo
VirtualMundoVirtualRealidad Aumentada
![Page 17: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/17.jpg)
17
ARMole: Juego de RA para rehabilitación
17/31
¿Qué es la Realidad Aumentada?Añadir información en tiempo real en nuestro entorno
MundoReal
MundoReal Augmented
RealityAugmented
Reality++ ==
Información extra:
● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador
Información extra:
● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador
![Page 18: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/18.jpg)
18
ARMole: Juego de RA para rehabilitación
18/31
Ejercicios de rehabilitación en niños
Problema: Abandono frecuente de los ejercicios● Aburridos● Dolorosos● Largos en el tiempo
Solución: Juegos de Realidad Aumentada
![Page 19: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/19.jpg)
19
ARMole: Juego de RA para rehabilitación
19/31
URSUS – Un simpático robot para practicar los ejercicios
cameraCompsevillaComp
speechComp
armrocioComp brazoComp
![Page 20: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/20.jpg)
20
ARMole: Juego de RA para rehabilitación
20/31
Juego Whack-a-mole para ejercicios de brazoLos ejercicios: El juego:
![Page 21: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/21.jpg)
21
ARMole: Juego de RA para rehabilitación
21/31
¿Qué necesitamos para desarrollar este juego?
– Tracking de los movimientos del paciente
– Un mundo virtual interactivo
– Unir la interacción con el tracking
![Page 22: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/22.jpg)
22
ARMole: Juego de RA para rehabilitación
22/31
cameraComp
Imagen
TrackingARToolKit
Inteacción
ARMole
Escena 3DOSG
Control porGUI
![Page 23: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/23.jpg)
23
ARMole: Juego de RA para rehabilitación
23/31
ARToolKit – Tracking de marcas para RA
Ventajas:– Independencia iluminación– Fácil de implementar– 3D tracking con cámara simple– Varias marcas y multimarcas– Recupera el objeto tras perderlo
![Page 24: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/24.jpg)
24
ARMole: Juego de RA para rehabilitación
24/31
ARToolKit – Tracking de marcas para RA
Desventajas:– Invasiva– Reflejos– Pierde el objeto– No usa color
![Page 25: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/25.jpg)
25
ARMole: Juego de RA para rehabilitación
25/31
OpenSceneGraph (OSG) – Entornos 3D basados en árboles de nodos– Nodos controlados por matrices de transformación
RAÍZ
TRONCO TRONCO
RAMA
HOJA
HOJA
RAMA
BROTE
RAMA
BROTE
HOJAHOJA
BROTE
HOJA HOJA
HOJA
![Page 26: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/26.jpg)
26
ARMole: Juego de RA para rehabilitación
26/31
OSGArt y OSGAL – Interacción
OSG ARToolKit
Nodo controlado por
TransformacionesAfines
Marca 1ARToolKit
DistanciasTridimensionales
Marca 2ARToolKit
Cámara
Aumentar puntuación
Reproducirsonido
Modificarescena Mostrar
información
![Page 27: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/27.jpg)
27
ARMole: Juego de RA para rehabilitación
27/31
![Page 28: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/28.jpg)
28
ARMole: Juego de RA para rehabilitación
28/31
RoboComp + ARToolKit + OSG + Webcam
Características:
– Un juego interactivo y divertido
– Configurable para cada ejercicio
– Conexión con otros componentes
![Page 29: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/29.jpg)
29
CAMIMIC y ARMole
29/31
Vídeos de las aplicaciones
CAMIMIC: Filtro de distancia con Kinect
CAMIMIC: Pizarra Virtual con Filtro de Kalman
ARMole: Modificación de la escena desde la GUI
ARMole: Interacción con los modelos y el audio
![Page 30: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/30.jpg)
30
CAMIMIC y ARMole
30/31
Propuesta de trabajo futuroCamimic:
– Integrar la pizarra externa dentro en Camimic– Mejorar tracking añadiendo variables al filtro de Kalman– Añadir más funciones a la pizarra
ARMole:– Sustituir ARToolKit por un tracking sin marcas– Obtener más control e información desde la GUI– Añadir nuevos modelos y niveles para más ejercicios– Mejorar el sistema de audio y el de puntuación
![Page 31: UNIVERSIDAD DE EXTREMADURA...UNIVERSIDAD DE EXTREMADURA Alumno: Tutor: Leandro Pavón Serrano Pedro M. Núñez Trujillo Septiembre 2011, Cáceres Escuela Politécnica I. T. Telecomunicación.](https://reader034.fdocument.pub/reader034/viewer/2022051918/6009ede1b38a202b1f049ff2/html5/thumbnails/31.jpg)
31
Virtual Blackboard: colour and human motion tracking
31/31
Muchas gracias por su atención
Estaría encantado de responder a sus preguntas
Más información:http://landerpfc.wordpress.com