Erkennung von Gesichtsausdrücken anhand Erkennung von Gesichtsausdrücken anhand von Bildbewegungenvon Bildbewegungen

(Irfan Essa & Alex Pentland)(Irfan Essa & Alex Pentland)

Hauptseminar Smart EnvironmentsHauptseminar Smart EnvironmentsJoachim BiggelJoachim Biggel

11.12.2003

Überblick

1. Motivation

2. Grundlagen

3. FACS: zum Vergleich kurz vorgestellt

4. Gesichtsmodell …von Essa und Pentland

5. Mimikmodell

6. Ergebnisse: Tests mit dem neuen Modell

7. Evaluation: Vergleich mit FACS, Vor- und Nachteile des neuen Modells

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5.5.MimikmodellMimikmodell

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

Gesichtsausdrücke … als wichtiges Kommunikationsmittel

… zur Beurteilung der Gefühlslage

bessere Interaktion Mensch – Maschine möglich

(z.B. Online-Shopping, Smart Rooms)

Einsatz in anderen Gebieten(z.B. Zusammenarbeit mit Psychologen)

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5.5.MimikmodellMimikmodell

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

Unterscheidung Gesichtsmodell – Mimikmodell:

Gesichtsmodell: - Repräsentation des Gesichts- Bewegungen im Gesicht verfolgen und darstellen

Mimikmodell: - einzigartiges Charakteristikum für jeden

Gesichtsausdruck- Klassifizierung und Erkennung von Ausdrücken

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5.5.MimikmodellMimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation

FACSFacial Action Coding System

bereits 1978 von Ekman und Friesen entwickelt

nur Mimikmodell

wird von vielen anderen Ansätzen verwendet

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5.5.MimikmodellMimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation

Verwendung von 46 sog. Action Units (AUs) = lokales Bewegungsgebiet im Gesicht

AUs beinhalten jeweils die betroffenen Muskeln der Bewegung

Darstellung jeder optisch unterscheidbaren Bewegung (AUs kombinierbar)

Erkennung von Ausdrücken durch beteiligte AUs

(je nach Intensität auf einer 5-Punkte Skala)

Beispiel:

- Anheben der Augenbrauen = AU 2

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation

FACS+

keine Gemeinsamkeiten mit FACS

FACS+ = Gesichtsmodell

3-D Abbild eines Gesichts

Grundlage für das folgende Mimikmodell

dient zur Verfolgung der Gesichtsbewegungen

1.1.MotivationMotivation

2.2.GrundlagenGrundlagen

3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System

4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung

-- Kontrolle Kontrolle

5.5.MimikmodellMimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

Gesicht vorerst als grobes Mesh (Netz) aus Dreiecken

Ziel: Bewegungspunkte und Muskeln im Bild entsprechen Kanten der Dreiecke im Mesh

Lösung: Anpassung durch Verfeinerung des Mesh

grobes Mesh Muskeln (Striche) und angepasstes MeshBewegungspunkte (Punkte,Kreise)

1.1.MotivationMotivation

2.2.GrundlagenGrundlagen

3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System

4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung

-- Kontrolle Kontrolle

5.5.MimikmodellMimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

Übertragen von markanten Bewegungspunkten auf das Bild

Vorgehen:

1. Gesicht und seine Eigenschaften (Nase, Mund, Augen) im Bild lokalisieren (automatisch mit Eigenspace-

Methode)

2. diese Positionen, um Gesicht auf Mesh zu verformen

3. markante Bewegungspunkte auflegen und aufs Bild übertragen

1.1.MotivationMotivation

2.2.GrundlagenGrundlagen

3.3.FACS – Facial FACS – Facial Action Action Coding SystemCoding System

4.4.FACS+FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung

-- Kontrolle Kontrolle

5.5.MimikmodellMimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

1. 2. 3.

Verfolgung des Gesichts durch Berechnung des optischen Flusses

optischer Flussvektor vi(t) = Geschwindigkeit und Richtung der Pixel im Bild t zu t+1

Mapping des optischen Flusses auf Bewegungspunkte im Gesichtsmodell

Problem: optischer Flussvektor 2-dimensional;Modell mit Bewegungspunkten 3-dimensional

Lösung: 3-D Gesicht mit Laser einscannen liefert Funktion zur Umrechnung von 2-D in 3-D

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung

-- Kontrolle Kontrolle

5. Mimikmodell5. Mimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

evtl. störhafte, ungenaue Eingangsdaten kann zu enormen Abweichungen führen

deshalb: Kontrollmechanismus mit Kalman-Filter

Kalman-Filter :

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+- - ErstellungErstellung- - InitialisierungInitialisierung- - Verfolgung Verfolgung

-- KontrolleKontrolle

5. Mimikmodell5. Mimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

bisherige Zuständedes Systems

Schätzung für neuen Zustand

neue Messungen

neuer Zustand des Systems

(Weiterverarbeitung)

ermittelt

korrigieren

rekursiv

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6.6.ErgebnisseErgebnisse

7.7.EvaluationEvaluation

Mimikmodell

Problem: einzigartiges Charakteristikum für jeden Ausdruck

Lösung: Erstellung von Merkmalsvektoren als Mimiktemplate für jeden Ausdruck

Merkmalsvektor: Erstellung aus Muscle Actuation Profiles

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

Merkmalsvektor = Höchststand jedes Muskels im Profile

für jeden Ausdruck einen Merkmalsvektor (Mimiktemplate) erstellen

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

Skalarprodukt:

Merkmalsvektor der Bildsequenz x Mimiktemplate

Ergebnis 1 bedeutet vollständige Übereinstimmung

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell-- MerkmalsvektorMerkmalsvektor-- ErkennungErkennung

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

zu Grunde liegender Datenbestand:- Aufnahmesequenzen: 30 Frames/Sekunde; 450x380

Pixel - 20 Personen mit Ausdrücken: Lachen, Überraschung,

Ärger, Ekel, Augenbrauen heben und Trauer

Durchführung:- Merkmalsvektoren von 2 zufällig ausgewählten

Personen- 52 Gesichtsausdrücke von 7 verschiedenen Personen

Ergebnis: 98 % Trefferquote

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6. Ergebnisse6. Ergebnisse

7.7.Evaluation Evaluation

Vergleich zu Ansätzen mit FACS: 80-90 % Trefferquote

Gründe:- Schwierigkeiten, alle 46 AUs und Kombinationen

darzustellen

- AUs decken nur lokale Gebiete ab keine einzigartige, genaue Beschreibung von Ausdrücken

- zeitlicher Verlauf der Muskelaktivitäten nur linear angenähert

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation- Vergleich mit - Vergleich mit

FACSFACS- Vor- und - Vor- und

Nachteile Nachteile

Vorteile:- sehr detaillierte Darstellung des Gesichts und

Bewegungen mit verwendetem Gesichtsmodell

- Mimiktemplates basieren auf wirklichen Bilddaten und Messungen, nicht auf Heuristiken

Nachteile:- Verwendung des optischen Flusses:

Fehler evtl. durch wechselnde Lichtverhältnisse oder Bewegungen des Kopfes

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation- Vergleich mit - Vergleich mit

FACSFACS- Vor- und - Vor- und

Nachteile Nachteile

Was ist bei diesem Ansatz hervorzuheben?

Fragen?

1. Motivation1. Motivation

2. Grundlagen2. Grundlagen

3. FACS – Facial 3. FACS – Facial Action Action Coding System Coding System

4. FACS+4. FACS+

5. Mimikmodell5. Mimikmodell

6. Ergebnisse6. Ergebnisse

7.7.EvaluationEvaluation

……Vielen Dank für eure Vielen Dank für eure Aufmerksamkeit!Aufmerksamkeit!

11.12.2003