06.06.2005 The PicSOM Retrieval System
1
The PicSOM Retrieval System
Christian Steinberg
06.06.2005 The PicSOM Retrieval System 2
Überblick
1. EinführungPicSOM:2. Self-Organizing Map3. Tree Structured SOM4. Image Retrieval mit PicSOM5. Zusammenfassung
06.06.2005 The PicSOM Retrieval System 3
1.1 Einführung
Bedarf an effektiven Methoden im Bereich CBIR (Content-Based Image Retrieval)
Beschreibung von Bildern durch Low-Level Merkmale (Farbe, Textur, primitive Formen)
Einbeziehung des Users zum Erkennen von High-Level Merkmalen
06.06.2005 The PicSOM Retrieval System 4
1.2 Einführung
PicSOM Framework zum Erarbeiten von Algorithmen
und Methoden für CBIR Arbeitet mit Beispielbildern (User/DB) User gibt Relevanz an
(relevant/nichtrelevant) System lernt durch Feedback
06.06.2005 The PicSOM Retrieval System 5
2.1 Self-Organizing Map
Elastischen Netz von Punkten Visualisierung von hochdimensionalen
Daten in einer 2D Karte Punkte werden durch Neuronen
dargestellt, jedem Punkt i wird ein Model-Vektor mi zugeordnet (Eigenschaft des jeweiligen Bildes in der DB)
06.06.2005 The PicSOM Retrieval System 6
2.2 Self-Organizing Map
Karte wird anfangs geordnet Nachbarschaft bedeutet Ähnlichkeit Bei neuer Eingabe
Suchen des Neurons mit kleinstem Abstand (O(n))
Anpassen der Karte
06.06.2005 The PicSOM Retrieval System 7
2.3 Self-Organizing Map
06.06.2005 The PicSOM Retrieval System 8
3.1 Tree Structured SOM
Hierarchische Präsentation Jede Ebene ist eine SOM Suche nach dem Neuron
mit geringsten Abstandverringert sich aufO(logn)
06.06.2005 The PicSOM Retrieval System 9
3.2 Tree Structured SOM
Jede Ebene Repräsentiert ein Feature TS-SOM wird von oben herab sortiert Dabei werden die Featurevektoren der
Eingabebilder benutzt
06.06.2005 The PicSOM Retrieval System 10
4.1 Image Retrieval mit PicSOM
Iterativer Prozess Suche beginnt mit Repräsentativen
Bildern der höheren Ebenen des TS-SOMs
Nächsten Schritte passen sich der Auswahl des Nutzers an
06.06.2005 The PicSOM Retrieval System 11
4.2 Image Retrieval mit PicSOM
Intern werden Bilder positiv/negativ markiert für gewählt/nicht gewählt
Anhand dieser Information wird dem User ein neues Set von Bildern präsentiert
06.06.2005 The PicSOM Retrieval System 12
4.3 Image Retrieval mit PicSOM
Funktionsweise SOMs werden als 2D Matrizen betrachtet es wird mehr Gewicht auf Regionen mit nah
beieinanderliegenden positiven Neuronen (Bildern) gelegt (z.B. bestimmte Farbwerte)
Es wird ein Tiefenpassfilter mit einer symmetrischen Convolution Maske angewendet
Regionen mit möglichen „Treffern“
06.06.2005 The PicSOM Retrieval System 13
4.4 Image Retrieval mit PicSOM
06.06.2005 The PicSOM Retrieval System 14
4.5 Image Retrieval mit PicSOM
Aus den entstehenden ‚weißen‘ Regionen werden repräsentative Bilder herausgesucht und dem User gezeigt
Es beginnt eine erneuter Durchlauf
06.06.2005 The PicSOM Retrieval System 15
4.6 Image Retrieval mit PicSOM
PicSOM ist WWW-basiert und kann (wenn der Server wieder steht) unter folgender URL gefunden werden:http://www.cis.hut.fi/picsom
06.06.2005 The PicSOM Retrieval System 16
5. Zusammenfassung
Gute Strukturierung von Bildern durch ihre Merkmale
Gute Suchzeit durch Baumstruktur der ‚Datenbank‘
PicSOM wird als Picture Search Engine für das Internet vorbereitet (Stand 2000)
06.06.2005 The PicSOM Retrieval System 17
Vielen Dank!
Top Related