Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Επιβλέπων Καθηγητής:

Δρ. Αναστάσιος Ντελοπουλος

Παρουσίαση Διπλωματικής Εργασίας

Σύστημα Αναζήτησης Εικόνωνμε βάση

μεταδεδομένα IPTC και βαθμολογίες Εννοιών

Ξηρουχάκης ΜιχαήλΑΕΜ 4816

Εισαγωγή

Ιστορική αναδρομή

Δημοφιλείς τεχνολογίες

Χρήση της εικόνας Αναλογική Εικόνα

Εφεύρεση χημικής φωτογραφίας το 1820

Χρήση σε υγεία, εκπαίδευση, εμπόριο, άμυνα, κ.α.

Δεκαετία 1960 Εφεύρεση

Ψηφιακού Η/Υ Ψηφιοποίηση

της εικόνας

Δημιουργία μεγάλων συλλογών αναλογικών εικόνων

Συλλογές ψηφιακών εικόνων

Διατύπωση του προβλήματος«Πως θα ανακτήσουμε εικόνες, με συγκεκριμένα επιθυμητά

χαρακτηριστικά, από μια μεγάλη ψηφιακή συλλογή;»

Συστήματα Υπολογιστών για Αναζήτηση και Ανάκτηση Εικόνων

(Image Retrieval Systems)

Μέθοδοι αναζήτησης [1]Αναζήτηση βάσει κειμένου σχολιασμού

Στηρίζεται στα λεκτικά μεταδεδομένα των εικόνων

Τα πεδία έχουν προδιαγραφεί στα πρότυπα IPTC:

Χρησιμοποιείται από τα παραδοσιακά συστήματα αναζήτησης

Η προσθήκη σχολίων χειρωνακτικά είναι χρονοβόρα, επίπονη και δαπανηρή

Όνομα Πεδίου Περιγραφή Πεδίου Τύπος Δεδομένωνcaption Λεζάντα εικόνας String

city Εικονιζόμενη πόλη String

ΌΜΩΣ!ΌΜΩΣ!

Μέθοδοι αναζήτησης [2]Αναζήτηση βάσει περιεχομένου εικόνας

Στηρίζεται στο περιεχόμενο της εικόνας: χρώματα, σχήματα, υφή κ.α.

Χρησιμοποιεί τεχνικές από στατιστική, αναγνώριση προτύπων, επεξεργασία σήματος και όραση υπολογιστών

Δυνατότητα ανάκτησης φωτογραφιών που δεν έχουν IPTC μεταδεδομένα είτε γιατί δεν πρόσθεσε ο δημιουργός, είτε γιατί οι φωτογραφίες λαμβάνονται

αυτόματα και είναι αδύνατος ο χειρωνακτικός σχολιασμός τους π.χ. κάμερες ασφαλείας

ΣΥΣΤΗΜΑΣΥΣΤΗΜΑ

Μέθοδοι αναζήτησης [3]Υλοποιήσεις Content-Based I.R.Αναζήτηση με παράδειγμα Εννοιολογική Αναζήτηση

Ο χρήστης παρέχει στο ΣΣ μια εικόνα-παράδειγμα

Εξάγει τα χαρακτηριστικά τηςΙστόγραμμα χρώματος,

πρότυπα υφής, σχήματα, κ.α.

Αναζήτηση ομοιότητας στησυλλογή, βάσει αυτών

ΌΧΙ ΦΙΛΙΚΗ

προς τον

μέσο χρήστη

Το ΣΣ εξάγει σημασιολογικάχαρακτηριστικά για όλες τιςεικόνες της συλλογήςsky

seasand

female

ΦΙΛΙΚΗΟ χρήστης χρησιμοποιείτη φυσική γλώσσα ώστενα περιγράψει τις οπτικέςέννοιες που αναζητά

Παρουσίαση Συστήματος

Υλοποιημένες τεχνικές αναζήτησης

Επίδειξη λειτουργίας συστήματος

Σχολιασμός απόκρισης συστήματος

~100.000 Εικόνες

Παρουσίαση ΣυστήματοςΔεδομένα ΣΣ και Μέθοδοι αναζήτησης

Μεταδεδομένα IPTC Πρότυπο IIM

57 έννοιες

Αναζήτηση βάσει κειμένου σχολιασμού

Εννοιολογική Αναζήτηση

Πιθανότητα ΠαρουσίαςΕλλιπή

Μικτή Αναζήτηση

Αναζήτηση βάσει IPTC [1]Τρόποι σύγκρισης πεδίων IPTC

για δυαδικά ερωτήματα

Πεδία IPTC για ερωτήματα συνάφειας

π.χ. το πεδίο city«Έχει τραβηχτεί η εικόνα Χ στη

Στουτγάρδη;»Απάντηση: Αλήθεια (1) ή Ψέμα (0)

π.χ. το πεδίο caption (λεζάντα)«Αναφέρεται η εικόνα Χ στο ποδόσφαιρο;»Απάντηση: Δείκτης συνάφειας, στο [0,1]

Δείχνει πόσο σχετική είναι η caption με το «ποδόσφαιρο»

citycountryname byline κ.α.

caption headline κ.α.

Αναζήτηση βάσει IPTC [2]Παράδειγμα ερωτημάτων με IPTC μεταδεδ.

Δυαδικό Ερώτημα

Ερώτημα Συνάφειας

caption sampletext1

city samplestring1

countryname

samplestring2

STUTTGART=

samplestring1

??

ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL

δηλαδή ΜΟΝΟ ΕΑΝ

samplestring2!=NULLOR

sampletext1!=NULL

Δεν λαμβάνει πόντο

Αναζήτηση βάσει IPTC [3]Πιθανά αποτελέσματα δυαδικού ερωτήματος

ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL

Η imageX.JPG

Συμπεριλαμβάνεταιστο αποτέλεσμα

Λαμβάνει +1πόντο

Η imageX.JPG

ΔΕΝσυμπεριλαμβάνεται

στο αποτέλεσμα

ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ

τουλάχιστον έναεκ των caption,

countryname της imageX.JPG ΔΕΝ

είναι κενό

δηλαδή ΜΟΝΟ ΕΑΝ

samplestring1!=NULLOR

samplestring2!=NULL

Δεν λαμβάνει πόντο

δηλαδή ΜΟΝΟ ΕΑΝ

samplestring2!=NULLOR

sampletext1!=NULL

Δεν λαμβάνει πόντο

Αναζήτηση βάσει IPTC [4]Πιθανά αποτελέσματα ερωτήματος συνάφειας

ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL

Η imageX.JPG

Συμπεριλαμβάνεταιστο αποτέλεσμα

Λαμβάνει +1πόντο

Η imageX.JPG

ΔΕΝσυμπεριλαμβάνεται

στο αποτέλεσμα

ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ

τουλάχιστον έναεκ των caption,

countryname της imageX.JPG ΔΕΝ

είναι κενό

Ερώτημα Συνάφειας

??

+Δείκτη Συνάφειας

sampletext1

= NULL

ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ

τουλάχιστον έναεκ των city,

countryname της imageX.JPG ΔΕΝ

είναι κενό

Αναζήτηση βάσει IPTC [5]Βαθμολόγηση εικόνας

Πεδία Κριτήρια Μεταδεδομένα Y.JPG ΠόντοιY.JPG

caption TRAINING Κείμενο N λέξεων1 x λέξη «TRAINING» 0.9

city STUTTGART STUTTGART 1

countryname GERMANY NULL 0

+

+

1.9

Βαθμός Y.JPG

1.9 / 3 = 0.633

Αναζήτηση βάσει IPTC [6]Παράδειγμα αναζήτησης & απόκρισης ΣΣ

captionFC Barcelona's Ronaldinho (R) with Lionel Messi during a training session in Stuttgart 01 October, prior to Tuesday's Champions League match against VfB Stuttgart.

city STUTTGARTcountryname GERMANY

caption

STUTTGART, GERMANY: Italian cyclist Danilo Di Luca during a training of the Italian team at the track of the UCI Road Cycling World Championships in Stuttgart, Germany, Friday 28 September 2007.

city STUTTGARTcountryname GERMANY

Αποτελέσματα 1-16 (Σύνολο 72)Αποτελέσματα 25-40

Εννοιολογική αναζήτηση [1]Πιθανότητες – Βαθμολογίες εννοιών

airplaneanchoranimal

baseballbasketball

57 έννοιεςbeachbicycle

birdboat

buildingκ.α.

P{airplane}=0.8

0.971

0.81

Εννοιολογική αναζήτηση [2]Φιλτράρισμα και ταξινόμηση αποτελέσματος

Ένα σύνολο από Μ έννοιες

όπου Μ<=57

Οι εικόνες με ΤΟΥΛΑΧΙΣΤΟΝ μια

εκ των ζητούμενων εννοιών

Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει ΤΟΥΛΑΧΙΣΤΟΝ

μια εκ των ζητούμενων εννοιών

Κριτήρια αναζήτησης: ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ

ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ

P{E1 OR E2 OR E3 OR … OR EM}

Εννοιολογική αναζήτηση [3]Αλγόριθμος υπολογισμού πιθαν. ένωσης

P{E1 OR E2} = P{E1} + P{E2} – P{E1 AND E2}

P{E1 OR E2 OR E3} = P{(E1 OR E2) OR E3}

P{E1 OR E2 OR E3}

P{E1 OR E2} = P{E1} + P{E2} – P{E1}*P{E2}

Παραδοχή: E1, E2

στατιστικά ανεξάρτητα

}}E12E12

P{E12}=P{E12}=

προσεταιριστική ιδιότητα

= P{E12} + P{E3} – P{E12 AND E3}

P{E1 OR E2 OR E3} = P{E12}P{E12} + P{E3} – P{E12}P{E12}*P{E3}

Εννοιολογική αναζήτηση [4]Αλγόριθμος εννοιολογικής αναζήτησης

Παράδειγμα:BICYCLE OR OUTDOORΑ) Ανάκτηση δεδομένων από τη ΒΔ Επιστρέφονται οι γραμμές

πίνακας αποθήκευσης εννοιών

εικόνα έννοια πιθαν.

imgX BICYCLE 0.73

imgX OUTDOOR 0.94

imgY FEMALE 0.69

imgY BICYCLE 0.91

imgY SKY 0.99

Β) Υπολογισμός της ένωσης των γεγονότων Για την imgX υπολογίζεται η P{BICYCLE OR OUTDOOR}Για την imgY η πιθανότητα αυτή ισούται με την P{BICYCLE}=0.91 καθώς P{OUTDOOR}=0Γ) Ταξινόμηση του αποτελέσματος Οι εικόνες ταξινομούνται σύμφωνα με τη P{BICYCLE OR OUTDOOR} τους

Κριτήρια Αναζήτησης:

ENTERTAINMENTOUTDOORBICYCLE

Εννοιολογική αναζήτηση [5]Παράδειγμα βαθμολόγησης και ταξινόμησης

images1/01894817.jpgimages1/01894817.jpgP{ENTERTAINMENT}=0.73

P{OUTDOOR}=0.97P{BICYCLE}=0.999996

Βήμα 1: P{ENTERTAINMENT OR OUTDOOR}=0.993Βήμα 2: P{ENTERTAINMENT OR OUTDOOR OR BICYCLE}=0.9999999710540.9999999710540.999999971054

Αποτελέσματα 1-16 (Σύνολο 89998)

Μικτή Αναζήτηση [1]Περιγραφή αλγορίθμου

Μικτή Αναζήτηση

ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ: Εικόνες με τουλάχιστον μια εκ των ζητούμενων εννοιών. Απορρίπτονται οι εικόνες με έστω και ένα μη-επιθυμητό μεταδεδομένο. Το κενό (NULL) θεωρείται ως επιθυμητή τιμή.

ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ:

Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει τουλάχιστον μια εκ των ζητούμενων εννοιών.

Ακριβώς όπως στην εννοιολογική αναζήτηση.

Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης

Αποτελέσματα 1-16 (Σύνολο 106)

P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509

caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY

Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα

Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση

ΟΚΟΚΟΚΟΚ

ΟΚΟΚ

ΟΚΟΚΟΚΟΚΟΚΟΚ

P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594

IPTC

IPTC

ΕΝΝΟ

ΙΕΣ

ΕΝΝΟ

ΙΕΣ

Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης

Αποτελέσματα 1-16 (Σύνολο 106)

P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509

caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY

Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα

Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση

ΟΚΟΚΟΚΟΚ

ΟΚΟΚ

ΟΚΟΚΟΚΟΚΟΚΟΚ

P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594

IPTC

IPTC

ΕΝΝΟ

ΙΕΣ

ΕΝΝΟ

ΙΕΣ

Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία

στην «αντίστοιχη» εννοιολογική αναζήτηση.

Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η

στις 89998).

Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης

Αποτελέσματα 1-16 (Σύνολο 106)

P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509

caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY

Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα

Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση

ΟΚΟΚΟΚΟΚ

ΟΚΟΚ

ΟΚΟΚΟΚΟΚΟΚΟΚ

P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594

IPTC

IPTC

ΕΝΝΟ

ΙΕΣ

ΕΝΝΟ

ΙΕΣ

Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία

στην «αντίστοιχη» εννοιολογική αναζήτηση.

Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η

στις 89998).

Στην «αντίστοιχη» αναζήτηση βάσει IPTC,

η βαθμολογία είναι εντελώς διαφορετική

(0.9636356) καθώς αυτή υπολογίζεται βάσει

ομοιότητας με τα IPTC μεταδεδομένα.

Ομοίως και η ταξινόμηση!(63η στα 72)

Παρουσίαση Υπομονάδων ΣΣAdministrator Tools

Δυναμική τροποποίηση της Φόρμας Αναζήτησης από τον Διαχειριστή ΣΣ

Εισαγωγή βαθμολογιών εννοιών στο ΣΣ

Εισαγωγή IPTC μετα- δεδομένων στο ΣΣ

Δημιουργία και αρχικοποίηση ΣΣ

Καταστροφή ΣΣ

Προγραμματιστικά Εργαλεία Apache Web Server

HTML & CSS

PHP

MySQL

Επίλογος

Χρόνος Απόκρισης ΣΣ

Συμπεράσματα

Χρόνος Απόκρισης ΣΣ [1]Περιγραφή ΠειράματοςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιεςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες

Βήμα 1: airplaneΒήμα 2: airplane anchorΒήμα 3: airplane anchor animalΒήμα 4: airplane anchor animal baseball…Βήμα 57: airplane anchor (…) vegetation walking

Βήμα 1: walkingΒήμα 2: walking vegetationΒήμα 3: walking vegetation usa_flagΒήμα 4: walking vegetation usa_flag tennis…Βήμα 57: walking vegetation (…) anchor airplane

A - Z

Z - A

Χρόνος Απόκρισης ΣΣ [2]Σχέση πλήθος εννοιών - χρόνος απόκρισης

Η αύξηση του πλήθους των εννοιών αυξάνει το χρόνο απόκρισης του ΣΣ

Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιεςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες

OUTDOOROUTDOORENTERTAINMENTENTERTAINMENT

ENTERTAINMENTENTERTAINMENTOUTDOOROUTDOOR

πλήθος εννοιών OUTDOOR: 72360 εικόνες ENTERTAINMENT: 77605

Και (AND) τις δυο: 60014

χρόν

ος α

πόκρ

ισης

Χρόνος Απόκρισης ΣΣ [3]Σχέση πλήθος εννοιών – αποτελεσμάτων

πλήθος εννοιών

χρόν

ος

απόκ

ριση

ςπλ

ήθος

απ

οτελ

εσμά

των

OUTDOOROUTDOOR

ENTERTAINMENTENTERTAINMENT

ENTERTAINMENTENTERTAINMENT

OUTDOOROUTDOOR

προσθέτουν τις 60014 κοινές εικόνες στο σετ

αποτελέσματος

υπολογισμός 60014

πιθανοτήτων ένωσης

εμφάνιση μιας νέας

πιθανότητας για κάθε μια εκ των 60014 κοινών

εικόνων

Χρόνος Απόκρισης ΣΣ [4]Σχέση πλήθος αποτελεσμάτων - χρόνος απ.

Αναμένουμε έντονα παραβολική σχέση ανάμεσα στο πλήθος αποτελεσμάτων της αναζήτησης και τον χρόνο απόκρισης του

ΣΣ

X:πλήθος αποτελεσμάτων, Y:χρόνος απόκρισης

A - Z Z - A

Χρόνος Απόκρισης ΣΣ [5]Σχέση πλήθος εγγραφών - χρόνος απόκρ.

X:πλήθος ανακτημένων εγγραφών, Y:χρόνος απόκρισηςA - Z Z - A

Επειδή κάθε ανακτημένη εγγραφή από την ΒΔ (Βήμα 1) προκαλεί συνήθως ένα νέο υπολογισμό πιθανότητας ένωσης γεγονότων

Αναμένουμε μια γραμμική ή ελαφρώς παραβολική σχέση ανάμεσα στο πλήθος των ανακτημένων εγγραφών και τον χρόνο

απόκρισης

Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου

σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»

είναι συχνά επίσης ανεπαρκής

Αυτό συμβαίνει διότι: Ο σχολιασμός, ιδιαίτερα σε πεδία ελεύθερου κειμένου (headline, caption, κ.α.), είναι υποκειμενικός καθώς βασίζεται στην κρίση του σχολιαστή. Συνήθως πολλά πεδία μεταδεδομένων έχουν μείνει κενά (NULL) απ’ τον σχολιαστή.

Για διαφορετικούς όμως λόγους:

Η χρήση μιας έννοιας (BICYCLE) μας φέρνει 4662 αποτελέσματα. Μεγάλο σετ αποτελέσματος για να πλοηγηθεί ο μέσος χρήστης!Η απλή απαίτηση οι εικόνες που ζητάμε έχουν τραβηχτεί στην ΓΕΡΜΑΝΙΑ (πεδίο countryname: GERMANY) κατεβάζει το σετ στα 411 αποτελέσματα!

Ομοίως:

Η χρήση τριών εννοιών (ENTERTAINMENT, OUTDOOR, BICYCLE) θα μας δώσει 89998 αποτελέσματα, ενώ η γνώση ότι ψάχνουμε για εικόνες στην Δρέσδη (city: DRESDEN) θα μας κατεβάσει το σετ στα 472 αποτελέσματα!

Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου

σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»

είναι συχνά επίσης ανεπαρκής Η χρήση πολλών εννοιών από κοινού δεν έχει

πάντα θετικά αποτελέσματα

Αν π.χ. ψάχνουμε «ποδηλάτες», η χρήση μόνο της έννοιας BICYCLE ενδείκνυται σε σχέση με την χρήση από κοινού των OUTDOOR, BICYCLE και ENTERTAINMENT

4662 4662 αποτελέσματ

αποτελέσματαα

8999889998Χιλιάδες δεν έχουν καμία σχέση με BICYCLE!

Ακόμα και στις πρώτες εκατοντάδες του αποτελέσματος βρίσκουμε εικόνες χωρίς

BICYCLE.

Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου

σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»

είναι συχνά επίσης ανεπαρκής Η χρήση πολλών εννοιών από κοινού δεν έχει

πάντα θετικά αποτελέσματα Σχετικά φτωχή η αξία των αποτελεσμάτων

όταν οι βαθμολογίες των εικόνων σε σχέση με π.χ. δυο έννοιες διαφέρουν κατά πολύ

Στο ερώτημα με GOLF και SKY λαμβάνουμε 3210 αποτελέσματα. Όμως η πρώτη εικόνα που σχετίζεται (και) με την GOLF ταξινομείται 81η θέση!

Βαθμολογίες SKY >> Βαθμολογίες GOLF