Virtuelle Charaktere - · NPC (non-player character) ... 10 und 80 verschiedene Phonemen (Deutsch...
Transcript of Virtuelle Charaktere - · NPC (non-player character) ... 10 und 80 verschiedene Phonemen (Deutsch...
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avatare und FreundeAv
atar
e un
d Fr
eund
e
● Kategorien von virtuellen Charakteren– Repräsentant einer realen Person– autonomer Charakter gesteuert durch den Computer
● Wichtige Eigenschaften– Mimik und Gestik synchron zur Sprache– zusätzliches Verhalten bei autonomen Charakteren
(natürlich, emotional und intelligent)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avat
are
und
Freu
nde
● Avatar– 2D/3D Repräsentant einer
natürlichen Person in einervirtuellen Umgebung
● Softbot– Software und Robot, Programme, die mit dem
Benutzer kommunizieren
● NPC (non-player character)– beleben virtuelle Welten– eigenständige vom Computer gesteuerte Charaktere
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avat
are
und
Freu
nde
● Software Guides– Weiterentwicklung der Hilfefunktion– Analyse des Benutzerverhaltens →Tipps
● Chatbots– Programme, mit denen man sich
in Grenzen unterhalten kann
● Assistenten– Ziel: Ersatz von menschlicher Assistenz– z.B.: Virtual Guido
(http://www.gebaerden.hamburg.de/)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
MimikM
imik
● Allgemeines– Mimik: sichtbare Bewegung der Gesichtsoberfläche– läuft oft in Sekundenbruchteilen ab– Ausdruck von Emotionen, Intuition, ...– gibt Aufschluss über individuelle Eigenschaften eines
Menschen– kann wichtiger Bestandteil
der non-verbalenKommunikation sein
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Phonem– jeder Laut, der erzeugt wird, ist ein Phonem– Natürliche menschliche Sprache beinhaltet zwischen
10 und 80 verschiedene Phonemen (Deutsch ca. 40)● Visem
– jedem Phonem wird ein Visem zugeordnet– spiegelt Lippenstellung wider– Synchronisation von Sprache und Lippen– Beispiel: „Talking Heads“
A E O U F L
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● FACS (Facial Action Coding System)– Standardklassifikation der mimischen
Muskelbewegungen– Aufteilung der
Gesichtsbewegungin Action Units (AU)
– Gesichtsausdrückedurch Kombinationvon AUs
AU12 + 25 AU20 + 25
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Morphing– nahtloser Übergang von einem
Quellbild in ein Zielbild
● Datenerfassung– punktweise Digitalisierung– Tracking Modell– 3D-Laserscanner– CRT / MRT– Stereoskopische Aufnahmen– Fotoaufnahmen
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
ModellierungM
imik
● Konkatenatives Modell– basiert auf real aufgenommenen Videobildern– Vorteil: hochqualitative Aufnahmen, einfache Erstellung– Nachteil: Gesichtsausdrücke nur möglich, wenn Bild
vorhanden ist, Kopfhaltung bleibt statisch– Übergange werden mittels Morphing realisiert– Beispiel: MikeTalk (MIT)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– für jedes Visem muss ein Bild vorhanden sein
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– für jedes mögliche Paar von Visemen wird ein
Übergang definiert
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– Abbildungsalgorithmus
● forward wraping von Bild0 nach Bild1● forward wraping von Bild1 nach Bild0● morphing der entstandenen Bildpaare● Ausfüllen der „Löcher“, undefinierte Pixel
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Parametrisches Modell– Festlegung einer geeigneten Menge von Parametern
● Struktur und Gestalt eines individuellen Gesichts ● Ausdruck von Emotionen
– Face Mesh● Menge von Polygonen, z.B. durch 3D-Scanner● bestimmte Gesichtsausdrücke durch Setzen der
Parameter festlegen● Problem: weiche
Übergänge
→Meshdeformation
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Tracking Modell– Erkennung der Mimik durch
Software– Übertragung auf Animation
– definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Anatomisches Modell– Aufteilung des Modells in
● Knochen (starres Polygonnetz)● Haut (flexibles Polygonnetz)● Muskel (verbinden einen oder mehrere Hautpunkte
mit einem Knochen, elastisch)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● MPEG-4– MPEG = Movie Picture Experts Group– MPEG-1/2
● blockbasierte Bildkompression
– MPEG-4● Erweiterung um modell-orientierte Kodierung● Szenengraph einmal zum Empfänger übertragen● anschließend nur nach Transformation, Deformation● Bandbreite von 2 Kbit/s ausreichend
(für rein modell-basierten Strom)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Binary Format For Scene (BIFS)– beschreibt räumliche-zeitliche Komposition von
Medienobjekten– synthetische Objekte: geom. Figuren, Texturen,
Beleuchtung– natürliche Objekte: Stream-Objekte für Video u. Audio– zusätzlich Sensoren für Interaktivität– angelehnt an VMRL (aber binär)– Modelle für Gesicht (Mimik) und Körper (Gestik)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Gesichtsanimation– Face Feature Points (FFP)
● insgesamt 84 FFPs● Position für jedes
Gesichtsmodell relevant● sind Referenzpunkte für
Facial Animation Parameters● FFPs definieren neutrales Gesicht
– Blick in Richtung z-Achse– Gesichtsmuskeln entspannt– Augenlider berühren Iris– Lippen in Kontakt,...
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Face Definition Parameters (FDP)– definieren individuelles Gesicht als
Polygonnetz– Gesichtstextur und
Face Animation Table (FAT)● Facial Animation Parameters (FAP)
– erzeugen synthetischen Gesichtsaustdruck– jeder FAP korrespondiert zu einer Aktion, die
Merkmalpunkte (FFP) bewegt● Face Animation Table (FAT)
– Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Gesichtsanimationsparameter– 68 FAPS zur Repräsentation verschiedenster
Gesichtanimationen
Beispiel: 6 Grundemotionen
© Virtuelle Präsenz WS08/09, Uni Ulm
Gestik6.
3G
estik
● Allgemeines– Gestik: kommunikative Bewegungen insbesondere der
Arme und der Hände, teil der non-verbalen Kommunikation
– Typologie: ● ikonische Gesten● deiktische Gesten● lexikalisierte Gesten● koverbale Gesten
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Beispiel: ikonische Geste– Ägypten: „Bitte sind Sie geduldig.“– Italien: „Was meinen Sie genau?“– Griechenland: „Das ist perfekt.“
● Herausforderung– Erkennen von Gesten– realistische Animation von Gesten– automatischen Generieren von Gesten
(inhaltsabhängig)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Gestikerkennung– Datenhandschuh
– Bildbasierte Erkennung (z.B. durch neuronales Netz)
Anwendung: ● SIVIT (Siemens Virtual Touchscreen)● 3D-Kiosksystem (Firma Rittal, 2005)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Animation von Gesten– vordefinierte Animation (z.B. durch Motion Capturing
oder durch 3D-Modellierungsprogramme)● Keyframe-Animationen
– prozedurale Animationen– Kombination von vordefinierten Animation und
prozeduralen Animationen
Keyframe-Animation
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Kinematik– Kinematik = Bewegung– Kinematische Kette: starre Körper verbunden durch
Gelenke– Kette beginnt mit Elternteil– Kind ist über Gelenk mit Elternteil verbunden– bewegt sich das Elternteil, dann bewegen sich die
Kindteile ebenfalls
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vorwärtsgerichtete Kinematik– Stellung der einzelnen Gelenke der Kettenglieder
vorgegeben– daraus kann Lage des letzten Gliedes eindeutig
berechnet werden
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Inverse Kinematik– Lage des letzten Gliedes der Kette ist bekannt– daraus berechnen sich die Winkel aller Gelenke– aufgrund der vielen möglichen Gelenkstellung ist es
nicht einfach natürliche aussehende Bewegungen zu erzeugen
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vertex Skinning– Skelett (Bones)
● unsichtbares hierarchisches Knochengerüst● definierte Drehpunkte, entsprechen Drehpunkte
– Skin (Haut)● Polygonnetz über Skelett legen● jeder Vertex ist mindestens einem Knochen
zugeordnet● Einfluss der Knochenstellung auf die Vertizes ist
gewichtet
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vertex Skinning Fortsetzung– Animation ändert die Stellung der Knochen
→Haut wird dementsprechend deformiert
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● H-Anim Standard= Humanoid Animation (www.h-anim.org)
– spezifiziert Datenstruktur für Körpermodelle– Algorithmen zur Bewegungsmodellierung nicht definiert– basiert auf VRML97, aber allgemein verwendet– Erstellung:
● H-Anim Werkzeuge, z.B. Virtock VizX3D ● fertige Modelle unter www.h-anim.org/Models● Modellierungswerkzeuge, z.B. 3D Studio Max, Maya
(Export nach VRML, danach konvertieren)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Modellierung in definierter Grundposition– Aufrecht stehende Position– Blick in Richtung z-Achse– Füsse nach vorne, Arme seitlich platziert
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Knotentypen– Grundtypen:
● Humanoid: Wurzel● Segment: Körperteil /
Knochen● Joint: Gelenk / Verweis
auf Hautnetz– erweiterte Typen:
● Site: def. Ort relativ zu Segment, z.B. für Kleidung, Schmuck, ...
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● MPEG-4: Körperanimation– ähnlich der Gesichtsanimation– Body Definition Parameters (BDP)
● def. individuellen Körper mit Polygonnetz und Texturen
● korrespondiert mit VRML H-Anim Standard
● Knochen, Gelenke, Haut (Polygonnetz)
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Body Animation Parameter (BAP)– erzeugen bestimmte Bewegungen und Gesten– ändern Winkel von Gelenken– übertragbar auf andere Körpermodelle
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
Kapitel 6
Virtuelle Charaktere
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6Inhalt
Virt
uelle
Cha
rakt
ere
● Einleitung● Mimik● Gestik
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avatare und FreundeAv
atar
e un
d Fr
eund
e
● Kategorien von virtuellen Charakteren– Repräsentant einer realen Person– autonomer Charakter gesteuert durch den Computer
● Wichtige Eigenschaften– Mimik und Gestik synchron zur Sprache– zusätzliches Verhalten bei autonomen Charakteren
(natürlich, emotional und intelligent)
Verhalten der autonomen Charaktere abhängig von der Implementierung der „Künstlichen Intelligenz“
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avat
are
und
Freu
nde
● Avatar– 2D/3D Repräsentant einer
natürlichen Person in einervirtuellen Umgebung
● Softbot– Software und Robot, Programme, die mit dem
Benutzer kommunizieren
● NPC (non-player character)– beleben virtuelle Welten– eigenständige vom Computer gesteuerte Charaktere
Im Hinduismus bedeutet Avatar eine Gottheit, die freiwillig eine physische Gestalt annimmt, um an der Schöpfung teilzunehmen
Begriff Softbot als Sammelbegriff für alle virtuellen Charaktere, die nicht von einer natürlichen Person gesteuert werden. Softbots aber auch als „intelligente Agenten“ die z.B. im Internet Daten sammeln, usw.
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.1
Avat
are
und
Freu
nde
● Software Guides– Weiterentwicklung der Hilfefunktion– Analyse des Benutzerverhaltens →Tipps
● Chatbots– Programme, mit denen man sich
in Grenzen unterhalten kann
● Assistenten– Ziel: Ersatz von menschlicher Assistenz– z.B.: Virtual Guido
(http://www.gebaerden.hamburg.de/)
Chatbots oftmals als „Gesicht“ einer Firma, Organisation, Institut,...
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
MimikM
imik
● Allgemeines– Mimik: sichtbare Bewegung der Gesichtsoberfläche– läuft oft in Sekundenbruchteilen ab– Ausdruck von Emotionen, Intuition, ...– gibt Aufschluss über individuelle Eigenschaften eines
Menschen– kann wichtiger Bestandteil
der non-verbalenKommunikation sein
Der Gesichtsausdruck beruht im Wesentlichen auf der Kontraktion der mimischen Muskulatur und wird besonders durch Augen und Mund als die beweglichsten Teile des Gesichts hervorgebracht.
Mimische Kommunikation und Interaktion ist sozial bedeutsamer, als es die auffälligere und besser dokumentierbare Sprache vermuten lässt.
Beispiele:Stirn runzeln: TadelNase rümpfen: Ekel, Abscheujemanden angähnen: jemanden zum
Langweiler erklären
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Phonem– jeder Laut, der erzeugt wird, ist ein Phonem– Natürliche menschliche Sprache beinhaltet zwischen
10 und 80 verschiedene Phonemen (Deutsch ca. 40)● Visem
– jedem Phonem wird ein Visem zugeordnet– spiegelt Lippenstellung wider– Synchronisation von Sprache und Lippen– Beispiel: „Talking Heads“
A E O U F L
Das Phonemkonzept taucht erstmals in den Arbeiten von Jan Niecislaw Baudouin de Courtenay (1845-1929) auf, wurde aber vor allem durch die Weiterentwicklungen von Nikolai Trubetzkoi (1890-1938) bekannt.
Untersuchungen zeigen, dass für das Verstehen von gesprochener Sprache, sowohl die Phonem als auch die Visemen eine Bedeutung spielen.
Visemen finden vor allem beim „Lippenlesen“ großen Einfuss,
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● FACS (Facial Action Coding System)– Standardklassifikation der mimischen
Muskelbewegungen– Aufteilung der
Gesichtsbewegungin Action Units (AU)
– Gesichtsausdrückedurch Kombinationvon AUs
AU12 + 25 AU20 + 25
Durch die Aufteilung des Gesichts in Action Units bedarf es keiner verbalen Beschreibung des Gesichtsausdruckes mehr. Er kann ohne Bedeutungszuordnung codiert werden.
Für einen einzelnen Gesichtsausdruck können bis zu 20 Action Units kombiniert werden.
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Morphing– nahtloser Übergang von einem
Quellbild in ein Zielbild
● Datenerfassung– punktweise Digitalisierung– Tracking Modell– 3D-Laserscanner– CRT / MRT– Stereoskopische Aufnahmen– Fotoaufnahmen
Morphing Vorgehensweise:- festlegen von Quell- und Zielbild- festlegen von korrespondierende Referenzpunkten in beiden Bildern- Interpolation zwischen Referenzpunkten
- Bestimmen der Pixeleigenschaften im Zwischenbild- Mischen der Pixeleigenschaften in Abgängigkeit der gewünschten Interpolationsschritte
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
ModellierungM
imik
● Konkatenatives Modell– basiert auf real aufgenommenen Videobildern– Vorteil: hochqualitative Aufnahmen, einfache Erstellung– Nachteil: Gesichtsausdrücke nur möglich, wenn Bild
vorhanden ist, Kopfhaltung bleibt statisch– Übergange werden mittels Morphing realisiert– Beispiel: MikeTalk (MIT)
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– für jedes Visem muss ein Bild vorhanden sein
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– für jedes mögliche Paar von Visemen wird ein
Übergang definiert
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– Abbildungsalgorithmus
● forward wraping von Bild0 nach Bild1● forward wraping von Bild1 nach Bild0● morphing der entstandenen Bildpaare● Ausfüllen der „Löcher“, undefinierte Pixel
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Beispiel MikeTalk (MIT)– Abbildungsalgorithmus
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Parametrisches Modell– Festlegung einer geeigneten Menge von Parametern
● Struktur und Gestalt eines individuellen Gesichts ● Ausdruck von Emotionen
– Face Mesh● Menge von Polygonen, z.B. durch 3D-Scanner● bestimmte Gesichtsausdrücke durch Setzen der
Parameter festlegen● Problem: weiche
Übergänge
→Meshdeformation
Menge von Parametern:- Farbe- relative Größe der Gesichtsteile- Augen: Pupille, Lid, Blickrichtung, Brauen- Mund: Öffnung, Ausdruck, Mundwinkel, Kiefer- Kopfposition
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Tracking Modell– Erkennung der Mimik durch
Software– Übertragung auf Animation
– definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Anatomisches Modell– Aufteilung des Modells in
● Knochen (starres Polygonnetz)● Haut (flexibles Polygonnetz)● Muskel (verbinden einen oder mehrere Hautpunkte
mit einem Knochen, elastisch)
Anatomisches Modell ist sehr realitätsnah, jedoch ist ein hoher Rechenaufwand von Nöten.
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● MPEG-4– MPEG = Movie Picture Experts Group– MPEG-1/2
● blockbasierte Bildkompression
– MPEG-4● Erweiterung um modell-orientierte Kodierung● Szenengraph einmal zum Empfänger übertragen● anschließend nur nach Transformation, Deformation● Bandbreite von 2 Kbit/s ausreichend
(für rein modell-basierten Strom)
MPEG-4 definiert Standards für:- audio, visuellem und audiovisuellem Inhalt (natürlich oder synthetisch) → Media Objekte- Komposition dieser Media Objekte- Transport dieser Objekte über das Netzwerk (Quality of Service)- Interaktion mit diesen Objekten
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Binary Format For Scene (BIFS)– beschreibt räumliche-zeitliche Komposition von
Medienobjekten– synthetische Objekte: geom. Figuren, Texturen,
Beleuchtung– natürliche Objekte: Stream-Objekte für Video u. Audio– zusätzlich Sensoren für Interaktivität– angelehnt an VMRL (aber binär)– Modelle für Gesicht (Mimik) und Körper (Gestik)
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Gesichtsanimation– Face Feature Points (FFP)
● insgesamt 84 FFPs● Position für jedes
Gesichtsmodell relevant● sind Referenzpunkte für
Facial Animation Parameters● FFPs definieren neutrales Gesicht
– Blick in Richtung z-Achse– Gesichtsmuskeln entspannt– Augenlider berühren Iris– Lippen in Kontakt,...
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Face Definition Parameters (FDP)– definieren individuelles Gesicht als
Polygonnetz– Gesichtstextur und
Face Animation Table (FAT)● Facial Animation Parameters (FAP)
– erzeugen synthetischen Gesichtsaustdruck– jeder FAP korrespondiert zu einer Aktion, die
Merkmalpunkte (FFP) bewegt● Face Animation Table (FAT)
– Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.2
Mim
ik
● Gesichtsanimationsparameter– 68 FAPS zur Repräsentation verschiedenster
Gesichtanimationen
Beispiel: 6 Grundemotionen
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
Gestik6.
3G
estik
● Allgemeines– Gestik: kommunikative Bewegungen insbesondere der
Arme und der Hände, teil der non-verbalen Kommunikation
– Typologie: ● ikonische Gesten● deiktische Gesten● lexikalisierte Gesten● koverbale Gesten
ikonische Geste: bildhafte Gestendeiktische Geste: Zeigegestelexikalisierte Geste: Gesten, welche wie Wörter einer
Lautsprache fungieren und als Symbol gelernt werden (abhängig von Kultur)
koverbale Gesten: ???
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Beispiel: ikonische Geste– Ägypten: „Bitte sind Sie geduldig.“– Italien: „Was meinen Sie genau?“– Griechenland: „Das ist perfekt.“
● Herausforderung– Erkennen von Gesten– realistische Animation von Gesten– automatischen Generieren von Gesten
(inhaltsabhängig)
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Gestikerkennung– Datenhandschuh
– Bildbasierte Erkennung (z.B. durch neuronales Netz)
Anwendung: ● SIVIT (Siemens Virtual Touchscreen)● 3D-Kiosksystem (Firma Rittal, 2005)
Zur bildbasierten Erkennung muss das Quellbild verschiedene Filterungen durchlaufen um das gewünschte Resultat zu erhalten, z.B. Gaborfilter
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Animation von Gesten– vordefinierte Animation (z.B. durch Motion Capturing
oder durch 3D-Modellierungsprogramme)● Keyframe-Animationen
– prozedurale Animationen– Kombination von vordefinierten Animation und
prozeduralen Animationen
Keyframe-Animation
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Kinematik– Kinematik = Bewegung– Kinematische Kette: starre Körper verbunden durch
Gelenke– Kette beginnt mit Elternteil– Kind ist über Gelenk mit Elternteil verbunden– bewegt sich das Elternteil, dann bewegen sich die
Kindteile ebenfalls
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vorwärtsgerichtete Kinematik– Stellung der einzelnen Gelenke der Kettenglieder
vorgegeben– daraus kann Lage des letzten Gliedes eindeutig
berechnet werden
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Inverse Kinematik– Lage des letzten Gliedes der Kette ist bekannt– daraus berechnen sich die Winkel aller Gelenke– aufgrund der vielen möglichen Gelenkstellung ist es
nicht einfach natürliche aussehende Bewegungen zu erzeugen
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vertex Skinning– Skelett (Bones)
● unsichtbares hierarchisches Knochengerüst● definierte Drehpunkte, entsprechen Drehpunkte
– Skin (Haut)● Polygonnetz über Skelett legen● jeder Vertex ist mindestens einem Knochen
zugeordnet● Einfluss der Knochenstellung auf die Vertizes ist
gewichtet
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Vertex Skinning Fortsetzung– Animation ändert die Stellung der Knochen
→Haut wird dementsprechend deformiert
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● H-Anim Standard= Humanoid Animation (www.h-anim.org)
– spezifiziert Datenstruktur für Körpermodelle– Algorithmen zur Bewegungsmodellierung nicht definiert– basiert auf VRML97, aber allgemein verwendet– Erstellung:
● H-Anim Werkzeuge, z.B. Virtock VizX3D ● fertige Modelle unter www.h-anim.org/Models● Modellierungswerkzeuge, z.B. 3D Studio Max, Maya
(Export nach VRML, danach konvertieren)
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Modellierung in definierter Grundposition– Aufrecht stehende Position– Blick in Richtung z-Achse– Füsse nach vorne, Arme seitlich platziert
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● Knotentypen– Grundtypen:
● Humanoid: Wurzel● Segment: Körperteil /
Knochen● Joint: Gelenk / Verweis
auf Hautnetz– erweiterte Typen:
● Site: def. Ort relativ zu Segment, z.B. für Kleidung, Schmuck, ...
© Virtuelle Präsenz WS08/09, Uni Ulm
© Virtuelle Präsenz WS08/09, Uni Ulm
6.3
Ges
tik
● MPEG-4: Körperanimation– ähnlich der Gesichtsanimation– Body Definition Parameters (BDP)
● def. individuellen Körper mit Polygonnetz und Texturen
● korrespondiert mit VRML H-Anim Standard
● Knochen, Gelenke, Haut (Polygonnetz)