PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana...
Transcript of PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana...
![Page 1: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/1.jpg)
VISIÓN POR COMPUTADOR
PERCEPCIÓN IR / VISUAL
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS
![Page 2: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/2.jpg)
• Principios de percepción IR
• Aplicaciones
• Correspondencia de Visual / IR
• Fusión IR / Visual
Percepción IR/Visual
![Page 3: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/3.jpg)
La banda del infrarrojo
Banda de λλλλ entre [0.75, 1000] µµµµm• Cercano: 0.75 -3 µµµµm
• Medio: 3 - 6 µµµµm
• Lejano: 6 - 15 µµµµm
• Extremo: 15 - 1000 µµµµm
Principios de Percepción IR
![Page 4: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/4.jpg)
Radiación del cuerpo negro (I)
• Cuerpo negro: trampa de radiación• Ley de Planck: distribución espectral en λλλλ de radiación
emitida
– Wλλλλ radiación espectral– h: cte de Planck– T: Tª del cuerpo negro en Kelvin– C: velocidad de la luz– K: cte. De Boltzmann
Principios de Percepción IR
−
=
1
2
5
2
kT
ch
e
hcW
λ
λ
λ
π
![Page 5: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/5.jpg)
Radiación del cuerpo negro (II)
• Ley de Wien: picos de radiación de un cuerpo negro
Permite relacionar Tª y color del objeto
Permite selección de banda de infrarrojos para cada aplicación
Principios de Percepción IR
T
2898max =λ
![Page 6: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/6.jpg)
Radiación del cuerpo negro (y III)
• Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro
– σ: cte. de Stefan-Boltzmann
Se emplea para calibración de Tª de cámaras termográficas
Principios de Percepción IR
4
0TdWW σλλ == ∫
∞
![Page 7: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/7.jpg)
Radiación de cuerpos no negros
• Absorción espectral: α(λ)
• Reflectancia espectral: ρ(λ)
• Transmitancia espectral: τ(λ)
• Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1
• Emisividad: ε(λ)=α(λ)
• Tipos de objetos:– Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0
– Cuerpos grises: τ(λ) =0, (materiales opacos)
– Espejos perfectos: ε(λ)=0
Principios de Percepción IR
![Page 8: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/8.jpg)
La transmisión atmosférica
Transmitancia atmosférica
• Tres ventanas del infrarrojo: 3 bandas
• Permite seleccionar banda: p.e. detección VS monitorización de incendios
Principios de Percepción IR
![Page 9: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/9.jpg)
Detectores de infrarrojos
• Parámetros:– Sensibilidad: relaciona flujo de radiación con señal del sensor
Debe ser cte con la Tª y λ
– SNR: cociente entre potencia de señal y ruido
– NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido
– Detectividad: inversa de NEP
Principios de Percepción IR
![Page 10: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/10.jpg)
Detectores de infrarrojos
• Tipos de detectores:
– Detectores térmicos:radiación se transforma en calor por absorción del material sensible
- Bolómetros: varía la conductividad del material,
- Detectores piroeléctricos: general corriente por incre. de Tª
- Termopilas: general tensión por efecto termodinámico
- Detectores neumáticos: la señal es una variación de presión en
la masa del gas al calentarse
– Detectores cuánticoscociente
Principios de Percepción IR
![Page 11: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/11.jpg)
Detectores de infrarrojos
• Tipos de detectores:
– Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible
- Detectores fotoeléctricos: genera corriente por electrones
arrancados del material: IR cercano
- Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres
- Detectores fotovoltaicos: modificación de V de barrera en unión p-n
Principios de Percepción IR
![Page 12: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/12.jpg)
Comparación de Detectores
Principios de Percepción IR
![Page 13: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/13.jpg)
Refrigeración
• Objetivo: evita la radiación de los detectores
• Tipos:– Refrigeración en ciclo abierto
– Refrigeración en ciclo cerrado
• Refrigeración mediante elementos de estado sólido– efecto termoeléctrico
Principios de Percepción IR
![Page 14: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/14.jpg)
Ruido
– Ruido térmico: la Tª es superior a 0 K
– Ruido shot: fluctuaciones en la llegada de electrones
– Ruido flicker: 1/f
– Ruido de generación-recombinación
– Ruido fotónico
Principios de Percepción IR
![Page 15: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/15.jpg)
Cámaras de Infrarrojos
– Puntuales: pirómetros
– Scanners de línea
– Cámaras de infrarrojos
• Tipos:– Térmicas: dan medida cuantitativa
– Termográficas: dan medida cualitativa de Tª�
calibración térmica
• Parámetros típicos:– NEI: iluminación equivalente al ruido
– NETD: dif. de Tª equivalente al ruido
– MDTD: dif. de Tª mínima detectable
Principios de Percepción IR
![Page 16: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/16.jpg)
• Mitsubishi IRM300– Band 3-5 µm. (cryogenic - Stirling cycle cooler)
– Weight: 8 kg.
– Lenses: 30º
– Output: CCIR video
– Temperature estimation: NO
Principios de Percepción IR
![Page 17: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/17.jpg)
• Raytheon 2000AS– Band 7-14 µm. (uncooled)– Weight: 120 gr.– Lenses: 30º– Output: CCIR video– Temperature estimation: NO
Principios de Percepción IR
![Page 18: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/18.jpg)
• Indigo Omega– Band 7.5 - 13.5 µm. (uncooled)
– Weight: 120 gr.
– Lenses: 30º
– Output: CCIR video, IEEE 1394 (Firewire)
– Temperature estimation: YES
– Control through IEEE 1394 and RS-232
Principios de Percepción IR
![Page 19: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/19.jpg)
• FLIR ThermaCam P20 – Band 7.5 - 13 µm. (uncooled)– Weight: 1.5 kg.– Lenses: 12º, 24º and 45º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-40 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.08º @ 30º C– High temperature filter– Control through RS-232– ThermaCam Reporter
Principios de Percepción IR
![Page 20: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/20.jpg)
• FLIR 550 Elite– Band 3.6 - 5 µm. (cryogenic)– Weight: 2 kg.– Lenses: 10º and 20º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-20 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.1º @ 30º C– Control through RS-232– ThermaCam Reporter
Principios de Percepción IR
![Page 21: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/21.jpg)
[-20, 1500] ºC
[-40, 1500] ºC
[0, 200] ºC
Not Thermal
Not Thermal
Range
10º, 20º
12º, 24º, 45º
30º
30º
30º
Lenses
0.1º @ 30ºC
0.1º @ 30ºC
2º @ 30ºC
Not Thermal
Not Thermal
Sensitivity
CCIR, JPG in
Flash Card
CCIR, JPG in
Flash Card
CCIR, Firewire
CCIR
CCIR
Interface
RS-2321.5 kg
7,5-13 µm
FLIR ThermaCam P20
RS-232
Firewire
120 gr.7,5-13,5 µm
Indigo Omega
RS-2322 kg3.5-5 µm
FLIR 550 Elite
RS-232120 gr.7-14 µmRaytheon 2000AS
RS-4858 kg.3-5 µmMitsubishi IRM300
ControlWeightBand
Principios de Percepción IR
![Page 22: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/22.jpg)
Aplicaciones de la visión IR
• Seguridad
• Industria
• Medicina y veterinaria
• Medio Ambiente
Principios de Percepción IR
![Page 23: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/23.jpg)
• Detección de fugas térmicas en edificios
• Detección y seguimiento de objetos
• Detección de incendios
• Monitorización de incendios
• Detección y Monitorización cooperativas con múltiples UAVs
Aplicaciones de Percepción IR
![Page 24: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/24.jpg)
Reconocimiento de patrones
Detección de fugas térmicas en ventanas
Detección de fugas térmicas en edificios
- Estabilización de imágenes- Detección de fugas térmicas- Seguimiento
![Page 25: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/25.jpg)
Detección de fugas térmicas
1) Conversión a temperatura
2) Selección de zonas de interésTemperatura mínima calculada a partir de Tª ambiente
3) Clasificación
4) Clustering
( ) ( ) ( )111 |ωω tpPth = ( ) ( ) ( ) ( ) ( )2211
2 ωωωω |tpP|tpPth +=
THROI
vidrio
Marco deventana
Detección de fugas térmicas en edificios
![Page 26: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/26.jpg)
Experimentos. Diciembre 2005
Detección de fugas térmicas en edificios
![Page 27: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/27.jpg)
• Objetivo: detección y seguimiento
• Dos fases:– Detección
– Seguimiento
• Control:– Posicionador
– Cámara de infrarrojos
Detección y seguimiento de objetos
• Posicionador: 2 GDL • Motores paso-a-paso
• Datos sensores: 200 ms.
![Page 28: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/28.jpg)
• Control anticipativo de la cámara de infrarrojos– Horizonte T
• Control del posicionador
– Predicción polinómica: Horizonte 5T
imagen i imagen i+1
imagen i+1 predicha
Detección y seguimiento de objetos
![Page 29: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/29.jpg)
Ejemplos (I)
![Page 30: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/30.jpg)
Ejemplos (y II)
![Page 31: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/31.jpg)
Detección de Incendios. Reducción de falsas alarmas
Tasa de Detección: 100%
Tasa de Falsa Alarmas: 1,93 %
90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual
9,1 % información geográfica
![Page 32: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/32.jpg)
Detección inteligente. Reducción de falsas alarmas
Fusión Sensorial
sensor1 sensorS
![Page 33: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/33.jpg)
Detección de Incendios. Reducción de falsas alarmas
� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas
� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio
� Sistema Borroso para integración de información
a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)
Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)
![Page 34: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/34.jpg)
Detección de Incendios. Reducción de falsas alarmas
• Interpretación:– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias
• 10 neuronas 120 iteraciones •ME = 9 13 iteraciones
– Neuronas Wavelet binarias• MME : ME=9 6 iteraciones (PD=100% PFA=0%)
• Al-Jaroudi : ME=9 6 iteraciones (PD=100% PFA=0%)
( )
∑ −−−==
N
1iiiMME T))T)(f(x(yu N
N
1E ∑=
=
N
1iiiJM ))f(x-y-ln(1
N
1E
Falsas alarmas Incendio
![Page 35: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/35.jpg)
� Objetivo: medir automáticamente parámetros del incendio en tiempo real
� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios
� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes
� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser
Fusión sensorial para mejorar medidas
Monitorización de Incendios
![Page 36: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/36.jpg)
Fusión sensorial para mejorar medidas
Vista frontalVista aérea
Vista lateral B
Vista lateral A
![Page 37: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/37.jpg)
Fusión sensorial para mejorar medidas
� Percepción combinada: obtención indirecta de magnitudes
� Fusión sensorial: magnitudes obtenidas de varias fuentes
� Filtrado de Kalman
∑
∑
=
jjk
jjkjk
k
m
Mω
ω2jkjjk rF=ω
--0.670.71Lateral IR
--0.760.89Frontal IR
Altura de llamaAncho frentePosición frente
0.24
0.67
0.22
0.53
0.58Lateral Visual
0.51Frontal Visual
![Page 38: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/38.jpg)
Fusión sensorial para mejorar medidas
Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006
Puntos: evolución real
Líneas: evolución estimada
![Page 39: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/39.jpg)
Fusión sensorial para mejorar medidas
![Page 40: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/40.jpg)
� Detección y localización cooperativa� Monitorización cooperativa
Robots heterogéneos– Plataformas: varios UAVs o robots
terrestres– Sensores
Percepción Cooperativa en Entornos Multirrobot
![Page 41: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/41.jpg)
Misión general:1) Vigilancia y detección 2) Confirmación 3) Monitorización
Percepción Cooperativa en Entornos Multirrobot
Vigilancia y detección– Área se divide dependiendo de
características de UAVs y sus sensores– Cada UAV recorre su área buscando
aplicando técnicas de detección
![Page 42: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/42.jpg)
Demostración del sistema para la detección de fuegos– Sensores: cámara IR, cámara visual, sensor de fuego
Vigilancia y detección
Percepción Cooperativa en Entornos Multirrobot
560 570 580 590 600 610 620 630 640 650 6600
20
40
60
80
100
120
140
![Page 43: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/43.jpg)
Confirmación
Percepción Cooperativa en Entornos Multirrobot
460 480 500 520 540 560 580 600 6200
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Pro
babi
lity
0.2821.5Desviación estándar estimada
200.044443961.4564628.9Posición estimada (fusión)
2004443961564627Posición real del fuego
AlturaLatitudLongitud
![Page 44: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/44.jpg)
Monitorización y medición de fuegos
Percepción Cooperativa en Entornos Multirrobot
![Page 45: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/45.jpg)
Extensión a robots aéreos y robots terrestres
Percepción Cooperativa en Entornos Multirrobot
Auriga. Univ. Málaga
Romeo 4R. GRVC. Univ. SevillaHero 3. GRVC. Univ. Sevilla
![Page 46: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/46.jpg)
Correspondencia Visual/IR
• Problema:
![Page 47: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/47.jpg)
� Paso 1 de 6: Selección de las imágenes
Imagen visual de referencia Imagen de infrarrojos a corregir
Sector representativo de imagen
(píxeles)
64x64
128x128
256x256
512x512
Resolución/Rango de detección
Correspondencia Visual/IR
![Page 48: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/48.jpg)
� Paso 2 de 6: Detección de bordes para hallar la rotación
Suma cuadrática
del gradiente
bidireccional
Normalización
en el rango
[0,255]
Igualación de
histogramas
Imagen visual Imagen de infrarrojos
Correspondencia Visual/IR
![Page 49: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/49.jpg)
� Paso 3 de 6: Cálculo de la DFT
Visual
IRElimina DC
Correspondencia Visual/IR
![Page 50: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/50.jpg)
� Paso 4 de 6: Conversión a polar-semilogarítmica
Visual IR - Discretización logarítmica polar
- Interpolación bilineal
- Suavizado mediante un filtro de
la mediana con máscara 5x5
- Filtro sinosoidal y ventana de
Hanning
θ
log ρ
θ- Desplazamiento centro
de masas umbralizado
- SPOMF
log ρ
Correspondencia Visual/IR
![Page 51: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/51.jpg)
Suma cuadrática
del gradiente
direccional
� Paso 5 de 6: Preprocesamiento en detección de traslación
0 255 255
255
127
255
255
255
191
191
Visual
Infrarrojos
Esquema de inversiones
de intensidad
Normalización
en el rango
[0,255]
Igualación de
histogramas
Detector debordes direccional
Correspondencia Visual/IR
![Page 52: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/52.jpg)
� Paso 6 de 6: Cálculo SPOMF para hallar la traslación
Desplazamiento vertical
Desplazamiento horizontal
Superposición de imágenes
Parámetro de calidad: Comparación entre
picos máximos distantes para desestimar
detecciones incorrectas
Correspondencia Visual/IR
![Page 53: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/53.jpg)
� Adquisición de imágenes
� Representación por pantalla
Estabilización conjunta Visual/IR
![Page 54: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/54.jpg)
Estabilización conjunta Visual/IR
![Page 55: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/55.jpg)
o Ejemplo de fusión de imágenes:
Imagen visual Imagen IR
Objetos calientes sobre imagen visual Suma de ambas imagenes
Fusión IR/Visual
![Page 56: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/56.jpg)
Fusión IR/Visual
Fusión mediante
selección de umbralFusión con media
sobre la visual
Fusión con media de niveles sobre la de IR
Fusión con media ponderada sobre la de IR
![Page 57: PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana Detección de fugas térmicas en edificios. Experimentos. ... Posición real del fuego 564627](https://reader031.fdocument.pub/reader031/viewer/2022021908/5bd5a7a609d3f24b3e8c1a5c/html5/thumbnails/57.jpg)
PERCEPCIÓN AVANZADA
PERCEPCIÓN IR / VISUAL
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS