Post on 09-Jun-2015
description
Autenticación Biométrica de Firma Manuscrita
sobre Dispositivos Móviles de Captura
Biometric Recognition Group – ATVS
(http://atvs.ii.uam.es)
Escuela Politécnica Superior
Universidad Autónoma de Madrid
Dr. Javier Ortega-Garcia
Catedrático de Teoría de la Señal y Comunicaciones
Director del Grupo de Reconocimiento Biométrico - ATVS
II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos
EPS/UAM, 15-16 Octubre 2013
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 2/53
Esquema de la Presentación
0. ¿Quiénes Somos?
1. Introducción
2. Autenticación Biométrica
2. Evaluación de Sistemas
3. Avances Recientes
4. Conclusiones
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 3/53
Grupo ATVS (i)
El grupo ATVS se crea en 1992 en la UPM, iniciado por los catedráticos Javier
Ortega García y Joaquín González Rodríguez
Sus actividades de I+D+i abarcan diversos aspectos de los campos de las
tecnologías del habla y el tratamiento de señales biométricas
Firma manuscrita y escritura, reconocimiento de huella dactilar y palmar,
autenticación de iris y de geometría de la mano, aplicaciones forenses y de
seguridad.
Actualmente, el grupo está formado por más de 30 personas, entre profesores /
investigadores de plantilla, investigadores pre- y post-doctorales, y otros
investigadores,
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 4/53
Contratos y Proyectos (selección)
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 5/53
BEAT; TABULA RASA (FP7 EU, STREPs) • Participants: ATVS + 8 European institutions
• November 2010 – May 2014: BIOMETRIC SECURITY
TeraSense (Consolider-Ingenio 2010) • Participants : 16 Spanish Universities
• December 2008 – November 2013: BIOMETRICS BEYOND THE VISIBLE
Bio-Residence, BBfor2 (FP6-FP7 EU, Marie Curie Actions) • Participants : ATVS, Michigan State University, + 8 European institutions
• April 2007 – December 2013: RESEARCH MOBILITY IN BIOMETRICS
BioSec, BioSecure (FP6 EU, IP and NoE) • Participants : 29 European institutions, incl. ATVS
• December 2003 – September 2007: BIOMETRIC DATABASES AND RESOURCES
COST IC-1106, COST-275, COST-2101 (ESF EU, COST Actions) • Participants : +15 European Countries
• May 2001 – September 2010: BIOMETRIC RESEARCH NETWORKING
CONTEXTS (Comunidad de Madrid) • Participants: ATVS, UAH, UPM, UC3M
• January 2010 – December 2013: NEW BIOMETRIC APPLICATIONS
MCYT Bimodal, Biosecur-ID, Bio-Pass, Bio-Challenge (Spanish
Ministry of Science and Technology) • Participants : ATVS, EUP Mataró, U País Vasco, U Valladolid
• December 2000 – November 2012: BASIC RESEARCH IN BIOMETRICS
Contratos y Proyectos (selección)
COST
Action
IC-1106
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 6/53
Cátedra Telefónica – UAM
• 2010-2014
Common Criteria Development
• Funding from: Ministerio de Defensa
• Period: January 2009 – December 2010
Automatic Writer & Latent Fingerprint ID
• Funding from: Ministerio del Interior
• Period: January 2009 – December 2010
Touchless sensor
• Funding from: TBS
• Period: 2007 –2008
Piramid Multimodal Biometrics
• Funding from: Mina Software, S.L.
• Period: March 2007 – October 2008
Signature Verification over TabletPC
• Period : October 2004 – March 2005
Contratos y Proyectos (selección)
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 7/53
1.Introducción
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 8/53
Introducción
La firma es un rasgo biométrico que cuenta con una alta aceptación social por
parte de los usuarios, habiendo sido utilizada durante siglos como medio de
autenticación de documentos legales y de transacciones y contratos civiles
El reconocimiento automático de firma manuscrita se enfrenta a varios retos
tecnológicos:
Variabilidad intra-usuario alta (variabilidad conductual, inter-sessión)
Dificultad para modelarla; necesidad de gran cantidad de datos vs. escasez
de los mismos
Baja variabilidad inter-usuario (especialmente en caso de imitaciones)
El grado de bondad en las imitaciones es impredecible
Muestras de un mismo usuario Imitación
Alta variabilidad Baja variabilidad
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 9/53
Introducción
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 10/53
Dispositivos y Escenarios de Adquisición
La mayoría de dispositivos móviles permiten la adquisición de escritura
La activación de esquemas de reconocimiento automático supone cambios
menores en las arquitecturas y sistemas
La potencia de estos esquemas estriba en la I+D desarrollada en el laboratorio,
y pueden ser implementados con coste computacional moderado y ocupación
de memoria reducida
F. Alonso-Fernandez, J. Fierrez-Aguilar, J. Ortega-Garcia and J. Gonzalez-Rodriguez, “Secure Access System using Signature Verification over
Tablet PC”, IEEE Aerospace and Electronic Systems Magazine, Vol. 22, n. 4, pp. 3-8, April 2007.
M. Martinez-Diaz, J. Fierrez, J. Galbally, F. Alonso-Fernandez and J. Ortega-Garcia, "Signature verification on handheld devices", in Proc.
MADRINET Workshop, pp. 87-95, Salamanca, Spain, November 2007
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 11/53
Los dispositivos móviles representan un escenario novedoso,
con desafíos propios:
M. Martinez-Diaz, J. Fierrez, J. Galbally and J. Ortega-Garcia, “Towards Mobile Authentication Using Dynamic Signature
Verification: Useful Features and Performance Evaluation”, Intl. Conf. on Pattern Recognition, ICPR 2008, Florida, USA
o Calidad de adquisición heterogénea
o Ergonomía singular
• El usuario debe sostener el dispositivo
• El útil y la pantalla son pequeñas
o La superficie de firma no es familiar
o No siempre es posible capturar la
presión, los trazos aéreos o la
orientación del útil
o Carga computacional limitada
Dispositivos y Escenarios de Adquisición
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 12/53
Escenarios de Aplicación
Log in / activación de cuentas • Control lógico de accesos (cuenta, LAN, etc.)
• Activación local o remota de sistemas
• Passwords gráficos
Pago en transacciones comerciales • Wireless (WIFI, GPRS…) o Punto de Venta
• Acceso ubicuo a transacciones comerciales, banca electrónica,
etc.
Transacciones legales • Documentos / certificados legales
• Aplicaciones de Administración electrónica
Validación de clientes • Paquetería y mensajería urgente
Acceso securizado • Archivos médicos / información financiera
• Encriptado de datos
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 13/53
2. Proceso de Autenticación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 14/53
Etapas en el Proceso de Autenticación
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cáculo de Similitud (Matching)
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 15/53
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cálculo de Similitud (Matching)
Etapas en el Proceso de Autenticación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 16/53
Adquisición de la Firma
Adquisición de muestras de firma dinámica
sample index
0 50 100 150 200 250 300 350 4000
2000
4000
x
0 50 100 150 200 250 300 350 4000
1000
2000
y
0 50 100 150 200 250 300 350 4000
500
1000
z
0 50 100 150 200 250 300 350 4001000
1200
1400
azim
uth
0 50 100 150 200 250 300 350 400400
500
600
altitu
de
Altitude (0°-90°)
90°
270°
0°
Azimuth (0°-359°)
180°
Altitude (0°-90°)
90°
270°
0°
Azimuth (0°-359°)
180°
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 17/53
La tableta captura muestras de la posición del útil a lo largo de la trayectoria de firma
Los puntos están equiespaciados en el tiempo, no en su ubicación espacial
Adquisición de la Firma: Muestreo Espacial
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 18/53
Normalización (necesaria siempre):
• Invarianza a la traslación o coordenadas relativas al punto de comienzo, o al centro de masas …
o coordenadas relativas al punto anterior (∆𝑥, ∆𝑦)
• Invarianza con la escala o Ajuste a tamaño prefijado
• Invarianza a la rotación o Detección y giro respecto a
eje principal
Remuestreo (no siempre necesario):
• Se reduce o se normaliza el número de muestras para obtener puntos equidistantes en el espacio.
• Problemas: pérdida potencial de información
• Solución: Inserción de puntos críticos (cambio de trayectoria, comienzo y final de firma, …) como guía de remuestreo.
...
Adquisición de Firma: Pre-Procesado
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 19/53
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cálculo de Similitud (Matching)
Etapas en el Proceso de Autenticación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 20/53
Representaciones de la Firma
Principales aproximaciones a las representaciones de firma
Datos de firma
dinámica
Basada en Parámetros
(“Características Globales”) Basada en Funciones
(“Características Locales)
Las firmas son descritas a través
de vectores holísticos multi-
dimensionales
E.g.: Duración, velocidad media,
número de alzamientos, orientación
inicial, etc.
La firmas se describen a través de un
conjunto de secuencias temporales
(derivadas de las señales adquiridas
por la tableta)
E.g.: trayectoria según x, trayectoria según
y, presión, velocidad, aceleración, etc.
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 21/53
Representación por Características Globales
Ejemplos de Características Globales
XY
PA
z
0 100 200 300
Al
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 22/53
Características espaciales (en cada punto de la trayectoria): coordenadas 𝑥, 𝑦 respecto al centro de la firma
desplazamiento 𝑥, 𝑦 entre puntos consecutivos
seno / coseno del ángulo con el eje 𝑥
curvatura
escala de grises en un entorno de 𝑛 × 𝑛 píxeles
...
Características dinámicas (en cada punto de la trayectoria): velocidad absoluta: (𝑝𝑖 − 𝑝𝑖−1)/(𝑡𝑖 − 𝑡𝑖−1)
velocidad relativa (respecto a la velocidad promedio)
aceleración (tangencial, normal)
presión instantánea ejercida
trayectoria de los trazos aéreos
posición angular del útil
…
Características Locales más Comunes
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 23/53
Representación por Características Locales
Ejemplos de Secuencias Temporales basadas en Características
Locales
XY
PA
z
0 100 200 300
Al
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 24/53
Rendimiento según Secuencia
S. Garcia-Salicetti, et al., “Biosecure Reference Systems for On-Line Signature Verification; A Study of Complementarity”,
Annals of Telecommunications Journal, Vol. 62, Nos.: 1&2, Jan.-Feb. 2007
0 2 4 6 8 10 12
x, y
x, y, p
x, y, p, γ
x, y, p, γ, Ф
x, y, p, θ
x, y, p, θ, v
x, y, p, θ, v, ρ
w = x, y, p, θ, v, ρ, a
[w, Δw] EER (%)
0.2 0.5 1 2 5 10 20 40
0.2
0.5
1
2
5
10
20
40
Tasa de Falsa Aceptación (%)
Tasa
de F
als
o R
echazo
(%)
x,y x,y,p x,y,p,γ x,y,p,Φ
0.2 0.5 1 2 5 10 20 40
0.2
0.5
1
2
5
10
20
40
Tasa de Falsa Aceptación (%)
Tasa
de F
als
o R
echazo
(%)
x,y,p,θ x,y,p,θ,v x,y,p,θ,v,ρ x,y,p,θ,v,ρ,a
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 25/53
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Medida de Similitud (Matching)
Etapas en el Proceso de Autenticación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 26/53
¿Cómo se lleva a cabo el reconocimiento de la firma?
En primer lugar, es necesario una medida de similitud/distancia.
Retos:
• las firmas tienen longitud variable
• La medida de distancia debe ser insensible a variaciones intra-clase
en la forma o los tiempos de la firma
Entonces, se aceptará una firma como genuina si la distancia es
pequeña (similitud alta), y se rechazará en caso contrario.
Matching/Autenticación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 27/53
Medidas de Similitud en Firma
Cálculo de la similitud: enfoques principales
Similitud en Firma
Dinámica
Basada en Parámetros
(“Características Globales”)
Basada en Funciones
(“Características Locales”)
Local
(punto a punto)
Regional
(segmento a segmento)
Clasificadores basados en Distancia
• Euclídea
• Mahalanobis
Clasificadores Estadísticos / otros
• GMM
• Ventanas de Parzen
• Redes Neronales
Matching de Secuencias Temporales
• Modelos Ocultos de Markov (HMM)
• Alineamiento Temporal Dinámico (DTW)
• Matching Estructural
• Correlación Regional
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 28/53
Cada firma es descrita mediante un igual
número de características globales
Ej.: los vectores de características son
todos ellos de igual longitud
Medidas de Distancia:
Distancia Euclídea
Entre al firma x y la y:
Problema: La escala y la importancia de la
dimensión individual del vector de
características no se tiene en cuenta.
Distancia de Mahalanobis
entre la firma x y un conjunto de
referencia de media m, y matriz de
covarianza S:
Problema: Disponer de suficiente cantidad de
datos para estimar la matriz de covarianzas.
Matching basado en Características
𝑑 𝐱, 𝐲 = 𝐱𝑖 − 𝐲𝑖2
𝑁
𝑖=1
𝑑 𝐱,𝐦 = 𝐱 −𝐦 𝑇 ∙ Σ−1 ∙ 𝐱 − 𝐦
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 29/53
Enfoques usando Secuencias Temporales
Modelos Ocultos de Markov Alineamiento Temporal Dinámico
Correspondencia punto a punto Modelado Estadístico de las Regiones
de la Firma
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 30/53
3. Evaluación de Rendimiento
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 31/53
Hitos en el Reconocimiento de Firma Dinámica
1982: Alineamiento Temporal Dinámic, DTW (Sato & Kogure)
1989: Estado del Arte (Plamondon & Lorette)
1995: Modelos Ocultos de Markov, modelado de segmentos (Yang et al.)
1996: Características Globales (Lee et al.)
2003: Modelos de Mezclas de Gaussianas, GMM(Richiardi and Drygajlo)
2003: Modelos Ocultos de Markov, secuencias temporales (Ortega-Garcia et al.)
2004: Signature Verification Competition SVC 2004 (Yeung et al.)
2007: Estandarización, formatos de intercambio (ISO/IEC 19794-7, -11)
2007: BioSecure Mobile Evaluation Campaign 2007
2009: BioSecure Signature Evaluation Campaign, PDA/Tablet, Calidad, Entropía
R. Plamondon and G. Lorette, “Automatic Signature Verification and Writer Identification
- The State of the Art”, Pattern Recognition, Vol. 22, No. 2, pp. 107-131, 1989.
Y. Sato and K. Kogure. Online signature verification based on shape, motion and writing
pressure. In Proc. of 6th Intl. Conf. on Pattern Recognition, pp. 823–826, 1982. http://biometrics.it-sudparis.eu/BMEC2007 L. L. Lee, T. Berger, and E. Aviczer, “Reliable On-Line Human Signature Verification
Systems”, IEEE Trans. on PAMI, Vol. 18, No. 6, pp. 643-647, 1996.
J. Ortega-Garcia, et al., “Complete Signal Modeling and Score Normalization for Function-
Based Dynamic Signature Verification”, Proc. of AVBPA, pp.: 658-667, Springer LNCS-2688,
2003.
D. Y. Yeung, et al., “SVC2004: First International Signature Verification Competition”, Proc.
of ICBA, pp.: 16-22. Springer LNCS-3072, 2004.
L. Yang, et al., “Application of Hidden Markov Models for Signature Verification”, Pattern
Recognition, Vol. 28, No. 2, pp.: 161-170, 1995.
J. Richiardi and A. Drygajlo. “Gaussian Mixture Models for on-line signature verification”. In
Proc. of ACM SIGMM Workshop on Biometric Methods and Applications, WBMA, pages
115–122, 2003. http://biometrics.it-sudparis.eu/BSEC2009/
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 32/53
Evaluación del Rendimiento: Bases de Datos
Las bases de datos permiten la evaluación sistemática de los algoritmos de
reconocimiento
Las bases de datos grandes y públicas son escasas, debido fundamentalmente a
dos factores:
Cuestiones legales (datos de carácter personal) y de privacidad
Son necesarios enormes recursos para adquirir y procesar los datos
La base de datos MCYT ha sido la base más empleada desde 2003; alcanzándose
con ella rendimientos sobre los 330 usuarios que llevan el EER por debajo del 1%.
Otras base de datos referenciadas incluyen SVC, Biomet, MyIdea, Susig
Más recientemente se han adquirido bases de datos con características
adicionales (p. ej., BioSecure Multimodal Database)
J. Ortega-Garcia, J. Fierrez et al., “MCYT Baseline Corpus: A Multimodal Biometric Database”, IEE
Proceedings - Vision, Image and Signal Processing, Vol. 150, No. 6, pp. 395-401, December 2003.
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 33/53
Resultados: Global / Segmental y Fusión
0.1 0.2 0.5 1 2 5 10 20 40
0.1
0.2
0.5
1
2
5
10
20
40
Tasa de Falsa Aceptación /%)
Ta
sa d
e F
als
o R
ech
azo
(%
)
Entrenamiento con 5 muestras
0.1 0.2 0.5 1 2 5 10 20 40
0.1
0.2
0.5
1
2
5
10
20
40
Tasa de Falsa Aceptación (%)
Ta
sa d
e F
als
o R
echa
zo
(%
)
Entrenamiento con 20 muestras
Con Imitaciones, HMM
Sin Imitaciones, HMM
Con Imitaciones, Global
Sin Imitaciones, Global
Con Imitaciones, Fusión
Sin Imitaciones, Fusión
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 34/53
Signature Verification Competition, SVC-04
Sistemas
ATVS-UAM
SVC-04 con imitaciones
SVC-04 sin imitaciones
http://www.cs.ust.hk/svc2004/
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 35/53
BioSecure Multimodal Database
667 donantes
Equilibrio entre géneros; 18~65, distribución de edades
Dos dispositivos de firma para todos los usuarios Tablet
Dispositivo Móvil
2 sesiones separadas meses; cada uno dividida en 3 bloques de 5 firmas
Permite la comparación sistemática de ambos dispositivos de captura
Imitaciones de muy alta calidad
Las imitaciones se hicieron conociendo la dinámica específica de cada firma; incluso era posible firmar sobre la imagen de la firma objetivo.
J. Ortega-Garcia, J. Fierrez, et al., “The Multi-Scenario Multi-Environment BioSecure Multimodal
Database”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010
Evaluación de Rendimiento: Bases de Datos
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 36/53
Algunas muestras de ‘BioSecure Multimodal DB’:
Tablet Móvil
Evaluación de Rendimiento: Bases de Datos
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 37/53
Sin Imitaciones Con Imitaciones
Incremento de EERs
3 evaluaciones públicas de referencia
BioSecure Multimodal Evaluation Campaign, BMEC 2007
Evaluación sobre la ‘BioSecure Multimodal Database’
Firma dinámica capturada con dispositivo móvil
http://biometrics.it-sudparis.eu/BMEC2007/
Evaluación de Rendimiento: Comparación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 38/53
3 evaluaciones públicas de referencia
BioSecure Signature Evaluation Campaign, BSEC 2009
Evaluación sobre la ‘BioSecure Multimodal Database’
Tarea 1: Móvil vs Tablet, interoperabilidad entre sensores
http://biometrics.it-sudparis.eu/BSEC2009/
Evaluación de Rendimiento: Comparación
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 39/53
3 evaluaciones públicas de referencia
BioSecure Signature Evaluation Campaign, BSEC 2009
Evaluación sobre la ‘BioSecure Multimodal Database’
Tarea 2: Efecto de la variabilidad temporal
http://biometrics.it-sudparis.eu/BSEC2009/
Performance Evaluation: Benchmarks
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 40/53
3 evaluaciones públicas de referencia
ICDAR 2009 Signature Verification Competition, SigComp 09
Condiciones (quasi)forenses, con datos estáticos y dinámicos
Comparación 1:1 (sin modelos estadísticos de usuario)
http://sigcomp09.arsforensica.org/
Performance Evaluation: Benchmarks
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 41/53
4. Avances Recientes
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 42/53
Avances Recientes
Los sistemas de reconocimiento de firma han sido estudiados de manera
exhaustiva
Han aparecido nuevos ámbitos de interés:
o Dispositivos móviles (smartphones) con calidad de adquisición
heterogénea
o Creciente interés en temas de seguridad y protección de la privacidad
o Generación sintética de firmas, para compensar la escasez de datos
o Mejor comprensión del proceso de generación de firma, para una mejor
representación y modelado de la misma
o Trabajos en complejidad y calidad de la firma
o Multibiometría: comparación multi-algorítmica
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 43/53
Avances Recientes Proceso de Producción de la Firma
A. Woch, R. Plamondon, “Using the Framework of the Kinematic Theory for the Definition of a
Movement Primitive”, Motor Control, Vol. 8, pp.547-557, 2004.
Basado en la Teoría Cinemática de producción de movimientos manuscritos
La velocidad del útil entre dos puntos de control sigue un modelo sigma-
lognormal
Para secuencias de puntos de control, es necesario usar modelos más complejos
(que pueden ser estimados de forma automática: p. ej., usando el algoritmo
XZERO)
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 44/53
La firmas son descritas a través de secuencias de puntos de control
A signature can be described by a set of primitives, which are
estimated by the XZERO algorithm.
C. O’Reilly, R. Plamondon, “Automatic Extraction of Sigma-Lognormal Parameters on Signatures”, Intl. Conf. on Frontiers in
Handwriting Recognition, ICFHR 2008, Montreal, Canada
J. Galbally, J. Fierrez, J. Ortega-Garcia and R. Plamondon, “Synthetic On-Line Signature Generation. Part I (Methodology and
Algorithms), Part II: (Experimental Validation)”, Pattern Recognition, Vol. 45, Iss. 7, pp. 2610-2621 & 2622-2632, July 2012.
Avances Recientes Proceso de Producción de la Firma
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 45/53
Avances Recientes Información Contenida en la Firma
Recientemente, se ha propuesto una medida de la entropía
del cliente, derivada de la Teoría de la Información
Esta medida está relacionada con la información contenida
en la firma ( discriminabilidad calidad)
Aplicaciones de las medidas de la entropía del cliente:
Categorización automática de las firmas
Análisis de bases de datos
Modelos de usuario específicos
S. Garcia-Salicetti, N. Houmani, B. Dorizzi. “A Client-Entropy Measure for On-Line Signatures”, Biometrics
Symposium, BSYM-08, pp. 83-88, 2008.
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 46/53
Avances Recientes Información Contenida en la Firma
Entropía Complejidad
+ +
La entropía del cliente aumenta normalmente con la
‘complejidad’ de la firma (dependiendo de la intra- e inter-
variabilidad del usuario)
F. Alonso-Fernandez, M. C. Fairhurst, J. Fierrez, J. Ortega-Garcia, “Impact of Signature Legibility and
Signature Type in Off-Line Signature Verification”, in Proc. IEEE Biometrics Symposium, BSYM-07,
Baltimore, Maryland, USA, September 2007.
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 47/53
Avances Recientes Seguridad y Protección de Plantillas
Los datos biométricos se pueden ver comprometidos si son
almacenados directamente ‘en crudo’ (sin procesar)
Se han desarrollado esquemas de protección de plantillas para
garantizar la privacidad
Criptosistemas biométricos: combinación de claves criptográficas y
datos biométricos (p. ej., fuzzy vault, fuzzy commitment)
Esquemas basados en transformadas: aplicación de funciones no-
invertibles sobre los datos biométricos (p. ej., biometría cancelable)
Abordar la variabilidad intrínseca es el principal reto en este área
E. Maiorana, P. Campisi, and A. Neri, “User Adaptive Fuzzy Commitment for Signature
Templates Protection and Renewability”, SPIE Journal of Electronic Imaging, Jan-March 2008.
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 48/53
Avances Recientes Seguridad y Ataques
Ratha et al. describe la taxonomía de ataques sobre sistemas
biométricos.
Ataques Directos, directamente sobre la entrada del sistema (p.
ej., firmas imitadas, firmas sintéticas)
Ataques Indirectos, sobre partes internas del sistema (p. ej.,
ataques tipo ‘hill-climbing’)
Se ha demostrado que es factible atacar los sistemas de firma
manuscrita mediante ataques indirectos:
Características globales: Galbally et al.
Secuencias temporales: Muramatsu et al.
N. K. Ratha, J. H.. Connell, R. M. Bolle, “Enhancing Security and Privacy in Biometrics-Based
Authentication Systems”, IBM Systems Journal, Vol. 40, No. 3, 2001
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 49/53
Avances Recientes Ejemplo de ataque tipo ‘Hill-Climbing’
El proceso de ataque a una firma
objetivo se produce de forma
iterativa
En cada paso, la puntuación de
similitud obtenida guía el proceso de
adaptación paramétrica
La adaptación paramétrica empieza
a partir de un modelo general y va
progresando hacia la firma objetivo
Las puntuaciones se incrementan
iterativamente hasta alcanzar el
umbral de aceptación
J. Galbally, J. Fierrez, J. Ortega-Garcia, "Bayesian Hill-Climbing Attack and its Application to Signature Verification", Proc.
IAPR International Conference on Biometrics, ICB-07, Springer LNCS-4642, pp. 386-395, Seoul, Korea, August 2007
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 50/53
Recientes Avances Passwords Gráficos / Firmas Cortas (Visé)
Dibujos: con el dedo sobre la pantalla
Firmas Cortas: repetición simplificada y repetitiva de la firma
Cristina Martín Díaz, “Reconocimiento de Passwords Gráficos en Dispositivos Móviles”, Proyecto Fin
de Carrera, Febrero 2010, EPS-UAM
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 51/53
Recientes Avances Reconocimiento Forense de Escritura: Biógrafo v2.0
J. Galbally, S. Gonzalez-Dominguez, J. Fierrez, J. Ortega-Garcia, “Biografo: An Integrated Tool for Forensic Writer
Identification”, Intl. Workshop on Biometrics and Forensic, IWBF-2012
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 52/53
5. Conclusiones
J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 53/53
Conclusiones
Tradicionalmente, la investigación en reconocimiento de firma se ha
centrado en la mejora del rendimiento.
La investigación en los algoritmos de reconocimiento sigue siendo un
campo de gran actividad.
Han aparecido nuevos ámbitos de actividad, focalizados sobre:
Nuevos escenarios de aplicación
Interoperabilidad entre dispositivos
Evaluación comparativa de algoritmos
Generación sintética de muestras
Medidas sobre el contenido y la complejidad de la firma
Protección de datos y privacidad
Autenticación Biométrica de Firma Manuscrita
sobre Dispositivos Móviles de Captura
Biometric Recognition Group – ATVS
(http://atvs.ii.uam.es)
Escuela Politécnica Superior
Universidad Autónoma de Madrid
Dr. Javier Ortega-Garcia
Catedrático de Teoría de la Señal y Comunicaciones
Director del Grupo de Reconocimiento Biométrico - ATVS
II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos
EPS/UAM, 15-16 Octubre 2013