Autor: Jorge Tarlea Jiménez

Sistema de posicionamiento de objetos mediante visión estéreo embarcable en

vehículos inteligentes

Director: Roberto J. López Sastre

Proyecto fin de carrera - Jorge Tarlea 2

Índice

● Objetivo

● Trabajo realizado

● Calibración de las cámaras● Método empleado

● Concepto de disparidad● Montaje realizado

● Rectificación de imágenes

● Búsqueda de correspondencias

● Resultados● Calibración● Rectificación● Estimación de distancias● Tiempos de ejecución

● Ejemplos● Conclusiones● Futuras líneas de

trabajo

Proyecto fin de carrera - Jorge Tarlea 3

Objetivo

Estimación de las distancias a las que se encuentran objetos de

interés dentro del campo de visión de un sistema de adquisición

de imágenes.

Proyecto fin de carrera - Jorge Tarlea 4

Trabajo realizado

● Implementación software:

A)Calibración de las cámaras

B)Estimación de distancias

● Sistema de adquisición de imágenes estéreo

Proyecto fin de carrera - Jorge Tarlea 5

Trabajo realizado

● Sistema de adquisición de imágenes estéreo

Proyecto fin de carrera - Jorge Tarlea 6

Trabajo realizado

● Implementación software:

A)Calibración de las cámaras

B)Estimación de distancias

Proyecto fin de carrera - Jorge Tarlea 7

Calibración de las cámaras

K =

0@fx s cx0 fy cy0 0 1

1A

● Obtención de parámetros:

● Intrínsecos● Extrínsecos

m w [K 0][R t]M

Proyecto fin de carrera - Jorge Tarlea 8

Calibración de las cámaras: Distorsión

RADIALCon distorsiónTANGENCIAL

☺

Proyecto fin de carrera - Jorge Tarlea 9

Calibración de las cámaras

● Método de Zhang mejorado:● Autodetección de puntos → Homografía →

Intrínsecos, extrínsecos y distorsión

Proyecto fin de carrera - Jorge Tarlea 10

Calibración de las cámaras

● Método de Zhang mejorado:● Autodetección de puntos → Homografía →

Intrínsecos, extrínsecos y distorsión

Proyecto fin de carrera - Jorge Tarlea 11

Concepto de disparidad

d = xL ¡ xR

Proyecto fin de carrera - Jorge Tarlea 12

Montaje realizado

● Ejes ópticos paralelos● Cámaras coplanares

Proyecto fin de carrera - Jorge Tarlea 13

Rectificación de imágenes● Filas de píxeles alineadas en las dos imágenes

→ Obtención de disparidades● Montaje realizado no ideal → Necesario

rectificar las imágenes obtenidas● Método de Bouguet → Menos distorsión que

otros (Ej.: Hartley)

Proyecto fin de carrera - Jorge Tarlea 14

Rectificación de imágenes● Filas de píxeles alineadas en las dos imágenes

→ Obtención de disparidades● Montaje realizado no ideal → Necesario

rectificar las imágenes obtenidas● Método de Bouguet → Menos distorsión que

otros (Ej.: Hartley)

Proyecto fin de carrera - Jorge Tarlea 15

Búsqueda de correspondencias

Z =fT

dMétodo de KonoligeMétodo de Konolige Método de Birchfield

Proyecto fin de carrera - Jorge Tarlea 16

Resultados: Calibración

● Calibración precisa con:● Tablero de 6 x 8 esquinas interiores.● Más de 7 pares de imágenes.

● Problemas al no detectarse todas las esquinas:● Distancia (excesiva) del mismo en la foto.● Imagen borrosa (objeto de calibración en

movimiento).

Proyecto fin de carrera - Jorge Tarlea 17

Resultados: Rectificación

Proyecto fin de carrera - Jorge Tarlea 18

Resultados: Rectificación

Proyecto fin de carrera - Jorge Tarlea 19

Resultados: Estimación de distancias

● Dos métodos para obtener la disparidad de la región de una imagen:

Media:

Histograma:200Valor más repetido →

40£ 200 + 16£ 10056

= 172:42

Proyecto fin de carrera - Jorge Tarlea 20

Resultados: Estimación de distancias

¡La media es más estable!¡La media es más estable!

Proyecto fin de carrera - Jorge Tarlea 21

Resultados: Tiempos

Proyecto fin de carrera - Jorge Tarlea 22

Ejemplo 1: Coche

Proyecto fin de carrera - Jorge Tarlea 23

Ejemplo 2: Personas

Proyecto fin de carrera - Jorge Tarlea 24

Conclusiones

1. Error contenido hasta cierta distancia → Disposición de los elementos cercanos.

2. Alternativa válida al uso de sensores → Entendimiento de la escena.

Problema: El tiempo real no se logra debido a:

- Los requirimientos de cálculo del detector de objetos.

- La precisión (del algoritmo de Birchfield) necesaria para obtener unas estimaciones precisas.

Proyecto fin de carrera - Jorge Tarlea 25

Futuras líneas de trabajo

1) Refinamiento de los mapas de disparidad obtenidos → Menos “agujeros”.

2) Cámaras de más calidad y sincronizadas por trigger.

3) Tratamiento previo de las imágenes (Ej.: Detección de bordes) → Mapas de disparidad en menos tiempo.

4) Cálculos mediante GPU's (Ej.: Entorno CUDA). Reducción de tiempos en:• La detección → Posibilidad de detectores más potentes.• Generación de mapas de disparidad.