Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...
Transcript of Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...
![Page 1: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/1.jpg)
1
Sistemi avanzati per il riconoscimento
Dr. Marco Cristanie-mail: [email protected]: Stanza 47, Ca Vignal 2
Università di VeronaFacoltà di Scienze MM.FF.NN.
Corso di Laurea magistrale in Ingegneria e scienze informatiche
http
://fo
rum
.thes
imps
on.it
/upl
oad/
mdm
/Hom
er20
&20
Ben
der.j
pg
![Page 2: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/2.jpg)
2
Il corso• Esame:
– progetto in MATLAB da 1 max 2 studenti
• Sessioni di laboratorio
• Pre-requisiti (non obbligatori):– Elaborazione delle Immagini
![Page 3: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/3.jpg)
3
Il corso: obiettivi• Studiare interfacce con articolazioni e
osservazioni non ordinarie
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
Ciclo di Interazione di Abowd e Beale
• Articolazione– Niente input da
tastiera, mouse, voce
• Osservazione– In alcuni casi,
niente output su schermo LCD (specialmente nelle interfacce non collaborative)
![Page 4: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/4.jpg)
4
Il corso: contesto• L’HCI avanzata può essere suddivisa
categorizzando l’articolazione; abbiamo:
– Computer Vision HCI• Tecniche di Computer Vision
– Audio-based HCI• Tecniche di Elaborazione del suono
– Tecniche ibride per HCI• Sensori di posizionamento etc.
…
…
…
…HUMAN COMPUTINGHUMAN ROBOT INTERACTION
![Page 5: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/5.jpg)
5
Il corso: Computer Vision(CV)-based HCI
• La CV-based HCI mira a costruire interfacce che percepiscano l’uomo e acquisiscano articolazioni volontarie (interfacce collaborative) o involontarie (interfacce non collaborative)
• Ingredienti dell’articolazione - l’utente comunica attraverso:– locazione, identità, età approssimativa, fuoco d’attenzione, espressione
facciale, postura, gesti e attività generali
• La CV-based HCI fornisce canali d’articolazione utili per l’Audio-based HCI– back channel
• Campo di ricerca “maturo” (Myron Krueger, Responsive Environments, ~1970) ma sempre attivo
![Page 6: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/6.jpg)
6
Il corso: motivazioni
• Il corso propone tematiche– attuali, di ricerca– applicative– corredate da codice MATLAB – direttamente sviluppabili come Tesi di Laurea– eventualmente sviluppabili in un Dottorato di Ricerca
• ponte per l’estero– Internship Microsoft– Altre sedi
![Page 7: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/7.jpg)
7
Il corso: materiali• Per ogni tematica studiata, verranno dati opportuni
riferimenti per approfondire• Le slide, unite alle spiegazioni che daro’ in classe, e al
materiale d’approfondimento sono bastevoli ad affrontare il progetto finale
• Per qualsiasi problema di sorta, scrivetemi e-mail e/o richiedete appuntamento per ricevimento
![Page 8: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/8.jpg)
8
Il corso: contenuti• Articolazione Vision-based mediante
– Volto• Face recognition• Face detection• Facial expression recognition• Face tracking
– Gesti• Hand gestures recognition• Complex gestures recognition
Osservazione:differente a seconda
delle applicazioni
![Page 9: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/9.jpg)
9
Il corso: contenuti (2)• Articolazione Vision-based mediante
– Movimento• Motion detection• Tracking
– Miste• Action recognition
• Articolazione Audio-based mediante– Speech
• Social signalling
Osservazione:differente a seconda delle applicazioni; spesso, l’utente che compie l’articolazioneè differente da quello che fruisce dell’os-servazione (schema tipico nella videosorveglianza, interfaccia tipicamentenon collaborativa)
![Page 10: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/10.jpg)
10
Face Recognition• Si può dividere in due obiettivi:
– Identificazione: Estrarre l’identitàlegata ad un volto osservato, utilizzando un database di volti etichettato (“Chi è costui?”)
– Verifica: verificare se il volto osservato è associabile o meno ad una data identità (“Costui èJack?”)
• Importante area di ricerca, in sviluppo
???
![Page 11: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/11.jpg)
11
Face Detection• Obiettivo: identificare e localizzare volti
umani in un’immagine, in modo invariante a: – posizione – scala – in-plane rotazione– posa o orientazione(rotazione out-plane) – illuminazione – espressione
![Page 12: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/12.jpg)
12ESEMPIO… http://vipbase.googlepages.com/tool_face_detect_result_opencv.jpg
![Page 13: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/13.jpg)
13
Facial Expression Recognition• Obiettivo: riconoscere una delle
7 (o più…) espressioni fondamentali– neutro– felice– sopreso– impaurito – triste– disgustato – arrabbiato
• Dualità con face recognition:– Expression recognition: l’identità di un volto è sorgente di
rumore– Face recognition: l’espressione di un volto è sorgente di rumore
![Page 14: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/14.jpg)
14
Face Tracking• Obiettivo: acquisire
da una videosequenzaframes consecutivi di una o più facce
• Utile per potenziare il riconoscimento e gestire l’affectivecomputing
http://hackheads.blogspot.com/2007/10/robot-con-face-tracking.html
![Page 15: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/15.jpg)
15
Gaze tracking• http://www.diku.dk/~panic/eyegaze/node8.html• Obiettivo: capire la direzione dello sguardo di un
utente• Un gaze tracker deve soddisfare determinati
requisiti per essere ritenuto tale• Utile a sviluppare interfacce non invasive per
– Videoconferenza– Entertainment
• Basilare nelle interfacce per soggetti diversamente abili.
![Page 16: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/16.jpg)
16
Gesture recognition• Obiettivo: identificare gesti specifici ed
usarli per articolare un messaggio preciso alla macchina.
• Si può suddividere in– Hand Gesture Recognition
• http://ls7-www.cs.uni-dortmund.de/research/gesture/vbgr-table.html
– Complex Gesture Recognition• http://www.cybernet.com/~ccohen/
![Page 17: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/17.jpg)
17
Motion Detection• Obiettivo: in generale,
identificare movimento in una scena monitorata attraverso telecamera fissa o mobile (difficile), o tramite altri sensori (infrared etc.)
• Ambiti applicativi: – Primariamente,
sorveglianza automatizzata– Modulo per l’attivazione di
interfacce più complesse (basate su tracking)
![Page 18: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/18.jpg)
18
Tracking• Obiettivo: inseguire uno o più oggetti
separatamente in tempo reale • Ambiti applicativi:
– La maggior parte delle interfacce che eseguono prestazioni da input visivi incorporano applicazioni di tracking
![Page 19: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/19.jpg)
19
Tracking (2)• Le applicazini di tracking possono essere
molto complesse:– Tracking di persone nella folla– Tracking multi camera: un oggetto deve essere
inseguito tramite più telecamere il cui frustumnon si interseca.
![Page 20: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/20.jpg)
20
Action Recognition• Obiettivo: rilevare
un’azione compiuta dall’utente e classificarla in un set di azioni predefinite
• Ambiti applicativi: – Dall’entertainment
(WII) alla domotica.
![Page 21: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/21.jpg)
21
Social-signalling – Humancomputing
• Obiettivo: codificare comportamenti umani– dai piu’ semplici – emozioni– a pattern più complessi
• mirroring• centralità
•Ambiti applicativi: –psicologia, sociologia, humancomputer interaction.
![Page 22: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...](https://reader035.fdocument.pub/reader035/viewer/2022072711/62e029b95dc0bc6e33541ad4/html5/thumbnails/22.jpg)
22
Fine