Erkennung von Gesichtsausdrücken anhand Erkennung von Gesichtsausdrücken anhand von Bildbewegungenvon Bildbewegungen
(Irfan Essa & Alex Pentland)(Irfan Essa & Alex Pentland)
Hauptseminar Smart EnvironmentsHauptseminar Smart EnvironmentsJoachim BiggelJoachim Biggel
11.12.2003
Überblick
1. Motivation
2. Grundlagen
3. FACS: zum Vergleich kurz vorgestellt
4. Gesichtsmodell …von Essa und Pentland
5. Mimikmodell
6. Ergebnisse: Tests mit dem neuen Modell
7. Evaluation: Vergleich mit FACS, Vor- und Nachteile des neuen Modells
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5.5.MimikmodellMimikmodell
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
Gesichtsausdrücke … als wichtiges Kommunikationsmittel
… zur Beurteilung der Gefühlslage
bessere Interaktion Mensch – Maschine möglich
(z.B. Online-Shopping, Smart Rooms)
Einsatz in anderen Gebieten(z.B. Zusammenarbeit mit Psychologen)
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5.5.MimikmodellMimikmodell
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
Unterscheidung Gesichtsmodell – Mimikmodell:
Gesichtsmodell: - Repräsentation des Gesichts- Bewegungen im Gesicht verfolgen und darstellen
Mimikmodell: - einzigartiges Charakteristikum für jeden
Gesichtsausdruck- Klassifizierung und Erkennung von Ausdrücken
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5.5.MimikmodellMimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation
FACSFacial Action Coding System
bereits 1978 von Ekman und Friesen entwickelt
nur Mimikmodell
wird von vielen anderen Ansätzen verwendet
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5.5.MimikmodellMimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation
Verwendung von 46 sog. Action Units (AUs) = lokales Bewegungsgebiet im Gesicht
AUs beinhalten jeweils die betroffenen Muskeln der Bewegung
Darstellung jeder optisch unterscheidbaren Bewegung (AUs kombinierbar)
Erkennung von Ausdrücken durch beteiligte AUs
(je nach Intensität auf einer 5-Punkte Skala)
Beispiel:
- Anheben der Augenbrauen = AU 2
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation
FACS+
keine Gemeinsamkeiten mit FACS
FACS+ = Gesichtsmodell
3-D Abbild eines Gesichts
Grundlage für das folgende Mimikmodell
dient zur Verfolgung der Gesichtsbewegungen
1.1.MotivationMotivation
2.2.GrundlagenGrundlagen
3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System
4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung
-- Kontrolle Kontrolle
5.5.MimikmodellMimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
Gesicht vorerst als grobes Mesh (Netz) aus Dreiecken
Ziel: Bewegungspunkte und Muskeln im Bild entsprechen Kanten der Dreiecke im Mesh
Lösung: Anpassung durch Verfeinerung des Mesh
grobes Mesh Muskeln (Striche) und angepasstes MeshBewegungspunkte (Punkte,Kreise)
1.1.MotivationMotivation
2.2.GrundlagenGrundlagen
3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System
4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung
-- Kontrolle Kontrolle
5.5.MimikmodellMimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
Übertragen von markanten Bewegungspunkten auf das Bild
Vorgehen:
1. Gesicht und seine Eigenschaften (Nase, Mund, Augen) im Bild lokalisieren (automatisch mit Eigenspace-
Methode)
2. diese Positionen, um Gesicht auf Mesh zu verformen
3. markante Bewegungspunkte auflegen und aufs Bild übertragen
1.1.MotivationMotivation
2.2.GrundlagenGrundlagen
3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System
4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung
-- Kontrolle Kontrolle
5.5.MimikmodellMimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
1. 2. 3.
Verfolgung des Gesichts durch Berechnung des optischen Flusses
optischer Flussvektor vi(t) = Geschwindigkeit und Richtung der Pixel im Bild t zu t+1
Mapping des optischen Flusses auf Bewegungspunkte im Gesichtsmodell
Problem: optischer Flussvektor 2-dimensional;Modell mit Bewegungspunkten 3-dimensional
Lösung: 3-D Gesicht mit Laser einscannen liefert Funktion zur Umrechnung von 2-D in 3-D
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung
-- Kontrolle Kontrolle
5. Mimikmodell5. Mimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
evtl. störhafte, ungenaue Eingangsdaten kann zu enormen Abweichungen führen
deshalb: Kontrollmechanismus mit Kalman-Filter
Kalman-Filter :
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung
-- KontrolleKontrolle
5. Mimikmodell5. Mimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
bisherige Zuständedes Systems
Schätzung für neuen Zustand
neue Messungen
neuer Zustand des Systems
(Weiterverarbeitung)
ermittelt
korrigieren
rekursiv
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6.6.ErgebnisseErgebnisse
7.7.EvaluationEvaluation
Mimikmodell
Problem: einzigartiges Charakteristikum für jeden Ausdruck
Lösung: Erstellung von Merkmalsvektoren als Mimiktemplate für jeden Ausdruck
Merkmalsvektor: Erstellung aus Muscle Actuation Profiles
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
Merkmalsvektor = Höchststand jedes Muskels im Profile
für jeden Ausdruck einen Merkmalsvektor (Mimiktemplate) erstellen
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
Skalarprodukt:
Merkmalsvektor der Bildsequenz x Mimiktemplate
Ergebnis 1 bedeutet vollständige Übereinstimmung
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
zu Grunde liegender Datenbestand:- Aufnahmesequenzen: 30 Frames/Sekunde; 450x380
Pixel - 20 Personen mit Ausdrücken: Lachen, Überraschung,
Ärger, Ekel, Augenbrauen heben und Trauer
Durchführung:- Merkmalsvektoren von 2 zufällig ausgewählten
Personen- 52 Gesichtsausdrücke von 7 verschiedenen Personen
Ergebnis: 98 % Trefferquote
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6. Ergebnisse6. Ergebnisse
7.7.Evaluation Evaluation
Vergleich zu Ansätzen mit FACS: 80-90 % Trefferquote
Gründe:- Schwierigkeiten, alle 46 AUs und Kombinationen
darzustellen
- AUs decken nur lokale Gebiete ab keine einzigartige, genaue Beschreibung von Ausdrücken
- zeitlicher Verlauf der Muskelaktivitäten nur linear angenähert
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation- Vergleich mit - Vergleich mit
FACSFACS- Vor- und - Vor- und
Nachteile Nachteile
Vorteile:- sehr detaillierte Darstellung des Gesichts und
Bewegungen mit verwendetem Gesichtsmodell
- Mimiktemplates basieren auf wirklichen Bilddaten und Messungen, nicht auf Heuristiken
Nachteile:- Verwendung des optischen Flusses:
Fehler evtl. durch wechselnde Lichtverhältnisse oder Bewegungen des Kopfes
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation- Vergleich mit - Vergleich mit
FACSFACS- Vor- und - Vor- und
Nachteile Nachteile
Was ist bei diesem Ansatz hervorzuheben?
Fragen?
1. Motivation1. Motivation
2. Grundlagen2. Grundlagen
3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System
4. FACS+4. FACS+
5. Mimikmodell5. Mimikmodell
6. Ergebnisse6. Ergebnisse
7.7.EvaluationEvaluation
……Vielen Dank für eure Vielen Dank für eure Aufmerksamkeit!Aufmerksamkeit!
11.12.2003
Top Related