CADFEM und HBM Seminar: Betriebsfestigkeit - Messen und Simulieren mit ANSYS, OptiSLang, nCode
Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik...
Transcript of Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik...
![Page 1: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/1.jpg)
1
1/27
Martina Fröhlich - Simulation der Mimik
Simulation der Mimik
Mimic Morphing
Emotionssensitive Avatare
2/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
![Page 2: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/2.jpg)
2
3/27
Martina Fröhlich - Simulation der Mimik
Anwendungsbeispiele
Darsteller in ComputerspielenVirtuelle Nachrichtensprecherin
Synface – Gesicht hilft Schwerhörigen
4/27
Martina Fröhlich - Simulation der Mimik
Sonstige Anwendungsgebiete
• Virtuelle Lehrer
• Virtuelle Kundenbetreuer
• Darsteller in computeranimierten Filmen
• Avatare in der virtuellen Realität
• Medizinische Modelle zur Operationsplanung
![Page 3: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/3.jpg)
3
5/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
6/27
Martina Fröhlich - Simulation der Mimik
Probleme
• Es muss möglichst echt wirken:
- Gesichter sollen natürlich aussehen- Bewegungen müssen fließend ablaufen- Emotionen müssen realistisch dargestellt werden
• Es darf nicht zuviel Rechnerkapazität beanspruchen
![Page 4: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/4.jpg)
4
7/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
8/27
Martina Fröhlich - Simulation der Mimik
Die 6 Basisemotionen
![Page 5: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/5.jpg)
5
9/27
Martina Fröhlich - Simulation der Mimik
Facial Action Coding System
• Von Ekman und Friesen 1978 eingeführt
• 64 Action Units (AU`s)
• Gesichtsausdrücke aus Teilbewegungen aufgebaut
Bsp.: - Heben der Augenbraue
- Senken der Mundwinkel
- Neigen des Kopfes
10/27
Martina Fröhlich - Simulation der Mimik
Morphing
• Manuell festgelegte Orientierungspunkte werden ineinander überführt
![Page 6: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/6.jpg)
6
11/27
Martina Fröhlich - Simulation der Mimik
Concatenation
• Gesichter werden in definierte Abschnitte unterteilt und können beliebig neu zusammengefügt werden
12/27
Martina Fröhlich - Simulation der Mimik
Statistische Modelle
• Pixel einer Bitmap über Dimensionen dargestellt
• Bild mit 512 * 512 Pixeln entspricht einem
262 144 - dimensionalen Vektor
• Reduzierung des Vektorraumes über Principal Component Analyse
![Page 7: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/7.jpg)
7
13/27
Martina Fröhlich - Simulation der Mimik
Video-Rewrite-System
• Eingeführt von Bregler et al. (1997)
• Vorhandene Videosequenz bleibt unverändert, nur Mundregion wird angepasst
• Sprache in Form von Triphonen eingebaut
• Eigenpoint-Model
• Morphing
14/27
Martina Fröhlich - Simulation der Mimik
Eigenpoint-Modell
![Page 8: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/8.jpg)
8
15/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
16/27
Martina Fröhlich - Simulation der Mimik
Modellbasierte Systeme -Grundlagen
• Polygon-Modell
• Subdivision/ Metanurbs
• Metaballs/ Metashapes
• Splines
• NURBS
• Tesselation
![Page 9: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/9.jpg)
9
17/27
Martina Fröhlich - Simulation der Mimik
Polygon-Modell
18/27
Martina Fröhlich - Simulation der Mimik
Interpolation
• Knoten in verschiedenen Gesichtsausdrücken werden gespeichert und ineinander überführt
• Lineare Interpolation
������������� � ������������������ ���
• Non-Lineare Interpolation
![Page 10: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/10.jpg)
10
19/27
Martina Fröhlich - Simulation der Mimik
Direkte Parameterisation
• Positionsänderungen der Knoten basieren auf einfachen geometrischen Berechnungen
• Bewegungen über verschiedene Parameter gespeichert
• Parameter in zwei Kategorien eingeteilt
- Bewegungen
- Grundlegende Gesichtsformen
20/27
Martina Fröhlich - Simulation der Mimik
Datengesteuerte Anwendungen
• Laserbasierendes Scannen
• Projektionstechniken
• Motion Capturing
- Face Tracking
![Page 11: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/11.jpg)
11
21/27
Martina Fröhlich - Simulation der Mimik
Bilderfassungssysteme
22/27
Martina Fröhlich - Simulation der Mimik
Muskuläre und Pseudomuskuläre Modelle
• Direkte Parameterisation, tatsächliche Muskelstruktur als Basis für Berechnungen
• Thalmann und Kalra (pseudomuskulär) -Freiformdeformationen
• Water`s Muskelmodell – verschiedene Muskeln
• Platt und Badler - Oberflächenspannung
• Lee (Spring-Mass-Model)
![Page 12: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/12.jpg)
12
23/27
Martina Fröhlich - Simulation der Mimik
Spring-Mass-Model
• Dreischichtiges Hautmodell
• Knoten stellen Massepunkte dar, die über Federn miteinander verbunden sind
24/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
![Page 13: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/13.jpg)
13
25/27
Martina Fröhlich - Simulation der Mimik
Zusammenfassung
• Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann
• Die Optimale ist abhängig davon, welche Funktion das Gesicht erfüllen soll
• Oft werden mehrere Techniken kombiniert, um zum Ziel zu kommen
26/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
![Page 14: Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann](https://reader033.fdocument.pub/reader033/viewer/2022060219/5f06e4da7e708231d41a431b/html5/thumbnails/14.jpg)
14
27/27
Martina Fröhlich - Simulation der Mimik
Blick in die Zukunft
• Das A und O : mehr Rechnerkapazität