Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos...

Autor: Jorge Tarlea Jiménez

Sistema de posicionamiento de objetos mediante visión estéreo embarcable en

vehículos inteligentes

Director: Roberto J. López Sastre

Proyecto fin de carrera - Jorge Tarlea 2

Índice

● Objetivo

● Trabajo realizado

● Calibración de las cámaras● Método empleado

● Concepto de disparidad● Montaje realizado

● Rectificación de imágenes

● Búsqueda de correspondencias

● Resultados● Calibración● Rectificación● Estimación de distancias● Tiempos de ejecución

● Ejemplos● Conclusiones● Futuras líneas de

trabajo


Objetivo

Estimación de las distancias a las que se encuentran objetos de

interés dentro del campo de visión de un sistema de adquisición

de imágenes.


Trabajo realizado

● Implementación software:

A)Calibración de las cámaras

B)Estimación de distancias

● Sistema de adquisición de imágenes estéreo


Trabajo realizado

● Sistema de adquisición de imágenes estéreo


Trabajo realizado

● Implementación software:

A)Calibración de las cámaras

B)Estimación de distancias


Calibración de las cámaras

K =

0@fx s cx0 fy cy0 0 1

1A

● Obtención de parámetros:

● Intrínsecos● Extrínsecos

m w [K 0][R t]M


Calibración de las cámaras: Distorsión

RADIALCon distorsiónTANGENCIAL

☺



● Método de Zhang mejorado:● Autodetección de puntos → Homografía →

Intrínsecos, extrínsecos y distorsión


Concepto de disparidad

d = xL ¡ xR


Montaje realizado

● Ejes ópticos paralelos● Cámaras coplanares


Rectificación de imágenes● Filas de píxeles alineadas en las dos imágenes

→ Obtención de disparidades● Montaje realizado no ideal → Necesario

rectificar las imágenes obtenidas● Método de Bouguet → Menos distorsión que

otros (Ej.: Hartley)


Búsqueda de correspondencias

Z =fT

dMétodo de KonoligeMétodo de Konolige Método de Birchfield


Resultados: Calibración

● Calibración precisa con:● Tablero de 6 x 8 esquinas interiores.● Más de 7 pares de imágenes.

● Problemas al no detectarse todas las esquinas:● Distancia (excesiva) del mismo en la foto.● Imagen borrosa (objeto de calibración en

movimiento).


Resultados: Rectificación


Resultados: Estimación de distancias

● Dos métodos para obtener la disparidad de la región de una imagen:

Media:

Histograma:200Valor más repetido →

40£ 200 + 16£ 10056

= 172:42


Resultados: Estimación de distancias

¡La media es más estable!¡La media es más estable!


Resultados: Tiempos


Ejemplo 1: Coche


Ejemplo 2: Personas


Conclusiones

1. Error contenido hasta cierta distancia → Disposición de los elementos cercanos.

2. Alternativa válida al uso de sensores → Entendimiento de la escena.

Problema: El tiempo real no se logra debido a:

- Los requirimientos de cálculo del detector de objetos.

- La precisión (del algoritmo de Birchfield) necesaria para obtener unas estimaciones precisas.


Futuras líneas de trabajo

1) Refinamiento de los mapas de disparidad obtenidos → Menos “agujeros”.

2) Cámaras de más calidad y sincronizadas por trigger.

3) Tratamiento previo de las imágenes (Ej.: Detección de bordes) → Mapas de disparidad en menos tiempo.

4) Cálculos mediante GPU's (Ej.: Entorno CUDA). Reducción de tiempos en:• La detección → Posibilidad de detectores más potentes.• Generación de mapas de disparidad.

Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos...

Technology

Transcript of Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos...