Projekt A4: „Alignment of Situation Models“
-
Upload
marah-rutledge -
Category
Documents
-
view
19 -
download
0
description
Transcript of Projekt A4: „Alignment of Situation Models“
Projekt A4:„Alignment of
Situation Models“
Gert RickheitSven Wachsmuth
Constanze VorwergAgnes Swadzba
SFB-Kolloqium, 04.02.2008
Alignment ofSituation Models
Projekt A4
2
Aus der Sicht eines Roboters
Wahrnehmung komplexer Räume Mit Menschen über Räume sprechen Vereinfachung der Komplexität durch:
Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion des
visuellen Verarbeitungsaufwands
Welche Schritte sind notwendig?
BIRON
Alignment ofSituation Models
Projekt A4
3
Perzeption der Szene
Fokus auf 3D-Datenakquise Verschiedene Möglichkeiten:
Stereo-Kameras Laserscanner
Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Camera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen
Senden und Empfangen eines Infrarotsignals
Alignment ofSituation Models
Projekt A4
4
Beispieldaten eines Büros
Alignment ofSituation Models
Projekt A4
5
Erweiterung des Sichtfelds
Aufnahme einer Sequenz von 3D-Punktwolken Registrierung und Rekonstruktion zu einer
globalen Punktwolke Diplomarbeit:
„Estimation of Camera Motion from Depth Image Sequences“
Alignment ofSituation Models
Projekt A4
6
Erweiterung des Sichtfelds
Alignment ofSituation Models
Projekt A4
7
Analyse der Szenen
Datengetriebene Analyse der 3D-Punktwolken Extraktion von
geometrischen „Raumprimitiven“: Beschränkung auf
von Menschen gestaltete Innenräume Extraktion von planaren Flächen:
Gegebene Anordnung der 3D-Punkte in eine 2D-Matrix Region Growing über die 8-er Nachbarschaft durch
Punkte die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar
Alignment ofSituation Models
Projekt A4
8
Analyse der Szenen
Alignment ofSituation Models
Projekt A4
9
Ziele der Szenenanalyse
Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf
Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation
effektiver, einfacher und schneller Strategien:
Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw.
Wahrnehmung ist durch aktuelle Situation determiniert
Alignment ofSituation Models
Projekt A4
10
Raumerkennung
Raumerkennung auf Basis planaren Strukturen
Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D-Punktwolken)
in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen)
Merkmale: Statistiken auf extrahierten Ebenen
Alignment ofSituation Models
Projekt A4
11
4 untersuchte Statistiken
Anzahl der Punkte pro planare Fläche
Winkel zwischen allen Flächenpaaren
Winkel zwischen nah benachbarten Flächenpaaren
Größen-verhältnisse zwischen allen Flächenpaaren
Alignment ofSituation Models
Projekt A4
12
Durchführung des Experiments
300 Aufnahmen pro Raum als Trainingsdaten 270 Aufnahmen zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 Aufnahmen zum Testen der
Raumwiedererkennung 300 Aufnahmen von 3 weiteren Räume zum
Testen der Kategorisierungsleistung bei unbekannten Räumen
Alignment ofSituation Models
Projekt A4
13
Ergebnisse
Trainingsräume
Alignment ofSituation Models
Projekt A4
14
Ergebnisse
Testräume
Alignment ofSituation Models
Projekt A4
15
Ergebnisse
0
0,2
0,4
0,6
0,8
1
FV1 FV2a FV3 FV4 FV1,FV2b,
FV3, FV4
NN (recog)
SVM (recog)
MVK (recog)
NN (catego)
SVM (catego)
MVK (catego)
Alignment ofSituation Models
Projekt A4
16
Ausblick
Nächste Schritte: Experimente mit anderen Räumen
(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken
Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren
Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbkategorien,
Größenbeziehungen, räumliche Bezugssystem, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?