Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα...
description
Transcript of Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα...
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Επιβλέπων Καθηγητής:
Δρ. Αναστάσιος Ντελοπουλος
Παρουσίαση Διπλωματικής Εργασίας
Σύστημα Αναζήτησης Εικόνωνμε βάση
μεταδεδομένα IPTC και βαθμολογίες Εννοιών
Ξηρουχάκης ΜιχαήλΑΕΜ 4816
Εισαγωγή
Ιστορική αναδρομή
Δημοφιλείς τεχνολογίες
Χρήση της εικόνας Αναλογική Εικόνα
Εφεύρεση χημικής φωτογραφίας το 1820
Χρήση σε υγεία, εκπαίδευση, εμπόριο, άμυνα, κ.α.
Δεκαετία 1960 Εφεύρεση
Ψηφιακού Η/Υ Ψηφιοποίηση
της εικόνας
Δημιουργία μεγάλων συλλογών αναλογικών εικόνων
Συλλογές ψηφιακών εικόνων
Διατύπωση του προβλήματος«Πως θα ανακτήσουμε εικόνες, με συγκεκριμένα επιθυμητά
χαρακτηριστικά, από μια μεγάλη ψηφιακή συλλογή;»
Συστήματα Υπολογιστών για Αναζήτηση και Ανάκτηση Εικόνων
(Image Retrieval Systems)
Μέθοδοι αναζήτησης [1]Αναζήτηση βάσει κειμένου σχολιασμού
Στηρίζεται στα λεκτικά μεταδεδομένα των εικόνων
Τα πεδία έχουν προδιαγραφεί στα πρότυπα IPTC:
Χρησιμοποιείται από τα παραδοσιακά συστήματα αναζήτησης
Η προσθήκη σχολίων χειρωνακτικά είναι χρονοβόρα, επίπονη και δαπανηρή
Όνομα Πεδίου Περιγραφή Πεδίου Τύπος Δεδομένωνcaption Λεζάντα εικόνας String
city Εικονιζόμενη πόλη String
ΌΜΩΣ!ΌΜΩΣ!
Μέθοδοι αναζήτησης [2]Αναζήτηση βάσει περιεχομένου εικόνας
Στηρίζεται στο περιεχόμενο της εικόνας: χρώματα, σχήματα, υφή κ.α.
Χρησιμοποιεί τεχνικές από στατιστική, αναγνώριση προτύπων, επεξεργασία σήματος και όραση υπολογιστών
Δυνατότητα ανάκτησης φωτογραφιών που δεν έχουν IPTC μεταδεδομένα είτε γιατί δεν πρόσθεσε ο δημιουργός, είτε γιατί οι φωτογραφίες λαμβάνονται
αυτόματα και είναι αδύνατος ο χειρωνακτικός σχολιασμός τους π.χ. κάμερες ασφαλείας
ΣΥΣΤΗΜΑΣΥΣΤΗΜΑ
Μέθοδοι αναζήτησης [3]Υλοποιήσεις Content-Based I.R.Αναζήτηση με παράδειγμα Εννοιολογική Αναζήτηση
Ο χρήστης παρέχει στο ΣΣ μια εικόνα-παράδειγμα
Εξάγει τα χαρακτηριστικά τηςΙστόγραμμα χρώματος,
πρότυπα υφής, σχήματα, κ.α.
Αναζήτηση ομοιότητας στησυλλογή, βάσει αυτών
ΌΧΙ ΦΙΛΙΚΗ
προς τον
μέσο χρήστη
Το ΣΣ εξάγει σημασιολογικάχαρακτηριστικά για όλες τιςεικόνες της συλλογήςsky
seasand
female
ΦΙΛΙΚΗΟ χρήστης χρησιμοποιείτη φυσική γλώσσα ώστενα περιγράψει τις οπτικέςέννοιες που αναζητά
Παρουσίαση Συστήματος
Υλοποιημένες τεχνικές αναζήτησης
Επίδειξη λειτουργίας συστήματος
Σχολιασμός απόκρισης συστήματος
~100.000 Εικόνες
Παρουσίαση ΣυστήματοςΔεδομένα ΣΣ και Μέθοδοι αναζήτησης
Μεταδεδομένα IPTC Πρότυπο IIM
57 έννοιες
Αναζήτηση βάσει κειμένου σχολιασμού
Εννοιολογική Αναζήτηση
Πιθανότητα ΠαρουσίαςΕλλιπή
Μικτή Αναζήτηση
Αναζήτηση βάσει IPTC [1]Τρόποι σύγκρισης πεδίων IPTC
για δυαδικά ερωτήματα
Πεδία IPTC για ερωτήματα συνάφειας
π.χ. το πεδίο city«Έχει τραβηχτεί η εικόνα Χ στη
Στουτγάρδη;»Απάντηση: Αλήθεια (1) ή Ψέμα (0)
π.χ. το πεδίο caption (λεζάντα)«Αναφέρεται η εικόνα Χ στο ποδόσφαιρο;»Απάντηση: Δείκτης συνάφειας, στο [0,1]
Δείχνει πόσο σχετική είναι η caption με το «ποδόσφαιρο»
citycountryname byline κ.α.
caption headline κ.α.
Αναζήτηση βάσει IPTC [2]Παράδειγμα ερωτημάτων με IPTC μεταδεδ.
Δυαδικό Ερώτημα
Ερώτημα Συνάφειας
caption sampletext1
city samplestring1
countryname
samplestring2
STUTTGART=
samplestring1
??
ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL
δηλαδή ΜΟΝΟ ΕΑΝ
samplestring2!=NULLOR
sampletext1!=NULL
Δεν λαμβάνει πόντο
Αναζήτηση βάσει IPTC [3]Πιθανά αποτελέσματα δυαδικού ερωτήματος
ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL
Η imageX.JPG
Συμπεριλαμβάνεταιστο αποτέλεσμα
Λαμβάνει +1πόντο
Η imageX.JPG
ΔΕΝσυμπεριλαμβάνεται
στο αποτέλεσμα
ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ
τουλάχιστον έναεκ των caption,
countryname της imageX.JPG ΔΕΝ
είναι κενό
δηλαδή ΜΟΝΟ ΕΑΝ
samplestring1!=NULLOR
samplestring2!=NULL
Δεν λαμβάνει πόντο
δηλαδή ΜΟΝΟ ΕΑΝ
samplestring2!=NULLOR
sampletext1!=NULL
Δεν λαμβάνει πόντο
Αναζήτηση βάσει IPTC [4]Πιθανά αποτελέσματα ερωτήματος συνάφειας
ΑΛΗΘΕΙΑ ΨΕΜΑsamplestring1= NULL
Η imageX.JPG
Συμπεριλαμβάνεταιστο αποτέλεσμα
Λαμβάνει +1πόντο
Η imageX.JPG
ΔΕΝσυμπεριλαμβάνεται
στο αποτέλεσμα
ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ
τουλάχιστον έναεκ των caption,
countryname της imageX.JPG ΔΕΝ
είναι κενό
Ερώτημα Συνάφειας
??
+Δείκτη Συνάφειας
sampletext1
= NULL
ΣυμπεριλαμβάνεταιΜΟΝΟ ΕΑΝ
τουλάχιστον έναεκ των city,
countryname της imageX.JPG ΔΕΝ
είναι κενό
Αναζήτηση βάσει IPTC [5]Βαθμολόγηση εικόνας
Πεδία Κριτήρια Μεταδεδομένα Y.JPG ΠόντοιY.JPG
caption TRAINING Κείμενο N λέξεων1 x λέξη «TRAINING» 0.9
city STUTTGART STUTTGART 1
countryname GERMANY NULL 0
+
+
1.9
Βαθμός Y.JPG
1.9 / 3 = 0.633
Αναζήτηση βάσει IPTC [6]Παράδειγμα αναζήτησης & απόκρισης ΣΣ
captionFC Barcelona's Ronaldinho (R) with Lionel Messi during a training session in Stuttgart 01 October, prior to Tuesday's Champions League match against VfB Stuttgart.
city STUTTGARTcountryname GERMANY
caption
STUTTGART, GERMANY: Italian cyclist Danilo Di Luca during a training of the Italian team at the track of the UCI Road Cycling World Championships in Stuttgart, Germany, Friday 28 September 2007.
city STUTTGARTcountryname GERMANY
Αποτελέσματα 1-16 (Σύνολο 72)Αποτελέσματα 25-40
Εννοιολογική αναζήτηση [1]Πιθανότητες – Βαθμολογίες εννοιών
airplaneanchoranimal
baseballbasketball
57 έννοιεςbeachbicycle
birdboat
buildingκ.α.
P{airplane}=0.8
0.971
0.81
Εννοιολογική αναζήτηση [2]Φιλτράρισμα και ταξινόμηση αποτελέσματος
Ένα σύνολο από Μ έννοιες
όπου Μ<=57
Οι εικόνες με ΤΟΥΛΑΧΙΣΤΟΝ μια
εκ των ζητούμενων εννοιών
Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει ΤΟΥΛΑΧΙΣΤΟΝ
μια εκ των ζητούμενων εννοιών
Κριτήρια αναζήτησης: ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ
ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ
P{E1 OR E2 OR E3 OR … OR EM}
Εννοιολογική αναζήτηση [3]Αλγόριθμος υπολογισμού πιθαν. ένωσης
P{E1 OR E2} = P{E1} + P{E2} – P{E1 AND E2}
P{E1 OR E2 OR E3} = P{(E1 OR E2) OR E3}
P{E1 OR E2 OR E3}
P{E1 OR E2} = P{E1} + P{E2} – P{E1}*P{E2}
Παραδοχή: E1, E2
στατιστικά ανεξάρτητα
}}E12E12
P{E12}=P{E12}=
προσεταιριστική ιδιότητα
= P{E12} + P{E3} – P{E12 AND E3}
P{E1 OR E2 OR E3} = P{E12}P{E12} + P{E3} – P{E12}P{E12}*P{E3}
Εννοιολογική αναζήτηση [4]Αλγόριθμος εννοιολογικής αναζήτησης
Παράδειγμα:BICYCLE OR OUTDOORΑ) Ανάκτηση δεδομένων από τη ΒΔ Επιστρέφονται οι γραμμές
πίνακας αποθήκευσης εννοιών
εικόνα έννοια πιθαν.
imgX BICYCLE 0.73
imgX OUTDOOR 0.94
imgY FEMALE 0.69
imgY BICYCLE 0.91
imgY SKY 0.99
Β) Υπολογισμός της ένωσης των γεγονότων Για την imgX υπολογίζεται η P{BICYCLE OR OUTDOOR}Για την imgY η πιθανότητα αυτή ισούται με την P{BICYCLE}=0.91 καθώς P{OUTDOOR}=0Γ) Ταξινόμηση του αποτελέσματος Οι εικόνες ταξινομούνται σύμφωνα με τη P{BICYCLE OR OUTDOOR} τους
Κριτήρια Αναζήτησης:
ENTERTAINMENTOUTDOORBICYCLE
Εννοιολογική αναζήτηση [5]Παράδειγμα βαθμολόγησης και ταξινόμησης
images1/01894817.jpgimages1/01894817.jpgP{ENTERTAINMENT}=0.73
P{OUTDOOR}=0.97P{BICYCLE}=0.999996
Βήμα 1: P{ENTERTAINMENT OR OUTDOOR}=0.993Βήμα 2: P{ENTERTAINMENT OR OUTDOOR OR BICYCLE}=0.9999999710540.9999999710540.999999971054
Αποτελέσματα 1-16 (Σύνολο 89998)
Μικτή Αναζήτηση [1]Περιγραφή αλγορίθμου
Μικτή Αναζήτηση
ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ: Εικόνες με τουλάχιστον μια εκ των ζητούμενων εννοιών. Απορρίπτονται οι εικόνες με έστω και ένα μη-επιθυμητό μεταδεδομένο. Το κενό (NULL) θεωρείται ως επιθυμητή τιμή.
ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ:
Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει τουλάχιστον μια εκ των ζητούμενων εννοιών.
Ακριβώς όπως στην εννοιολογική αναζήτηση.
Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης
Αποτελέσματα 1-16 (Σύνολο 106)
P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509
caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY
Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα
Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση
ΟΚΟΚΟΚΟΚ
ΟΚΟΚ
ΟΚΟΚΟΚΟΚΟΚΟΚ
P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594
IPTC
IPTC
ΕΝΝΟ
ΙΕΣ
ΕΝΝΟ
ΙΕΣ
Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης
Αποτελέσματα 1-16 (Σύνολο 106)
P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509
caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY
Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα
Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση
ΟΚΟΚΟΚΟΚ
ΟΚΟΚ
ΟΚΟΚΟΚΟΚΟΚΟΚ
P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594
IPTC
IPTC
ΕΝΝΟ
ΙΕΣ
ΕΝΝΟ
ΙΕΣ
Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία
στην «αντίστοιχη» εννοιολογική αναζήτηση.
Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η
στις 89998).
Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης
Αποτελέσματα 1-16 (Σύνολο 106)
P{ENTERTAINMENT} 0.926985P{OUTDOOR} 0.958697P{BICYCLE} 0.865509
caption περιέχει 1x «TRAINING»city STUTTGARTcountryname GERMANY
Μόνο ΦιλτράρισμαΜόνο Φιλτράρισμα
Φιλτράρισμα & Φιλτράρισμα & ΤαξινόμησηΤαξινόμηση
ΟΚΟΚΟΚΟΚ
ΟΚΟΚ
ΟΚΟΚΟΚΟΚΟΚΟΚ
P{ENT P{ENT OROR OUT OUT OROR BIC}= BIC}=0.9995940.999594
IPTC
IPTC
ΕΝΝΟ
ΙΕΣ
ΕΝΝΟ
ΙΕΣ
Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία
στην «αντίστοιχη» εννοιολογική αναζήτηση.
Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η
στις 89998).
Στην «αντίστοιχη» αναζήτηση βάσει IPTC,
η βαθμολογία είναι εντελώς διαφορετική
(0.9636356) καθώς αυτή υπολογίζεται βάσει
ομοιότητας με τα IPTC μεταδεδομένα.
Ομοίως και η ταξινόμηση!(63η στα 72)
Παρουσίαση Υπομονάδων ΣΣAdministrator Tools
Δυναμική τροποποίηση της Φόρμας Αναζήτησης από τον Διαχειριστή ΣΣ
Εισαγωγή βαθμολογιών εννοιών στο ΣΣ
Εισαγωγή IPTC μετα- δεδομένων στο ΣΣ
Δημιουργία και αρχικοποίηση ΣΣ
Καταστροφή ΣΣ
Προγραμματιστικά Εργαλεία Apache Web Server
HTML & CSS
PHP
MySQL
Επίλογος
Χρόνος Απόκρισης ΣΣ
Συμπεράσματα
Χρόνος Απόκρισης ΣΣ [1]Περιγραφή ΠειράματοςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιεςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες
Βήμα 1: airplaneΒήμα 2: airplane anchorΒήμα 3: airplane anchor animalΒήμα 4: airplane anchor animal baseball…Βήμα 57: airplane anchor (…) vegetation walking
Βήμα 1: walkingΒήμα 2: walking vegetationΒήμα 3: walking vegetation usa_flagΒήμα 4: walking vegetation usa_flag tennis…Βήμα 57: walking vegetation (…) anchor airplane
A - Z
Z - A
Χρόνος Απόκρισης ΣΣ [2]Σχέση πλήθος εννοιών - χρόνος απόκρισης
Η αύξηση του πλήθους των εννοιών αυξάνει το χρόνο απόκρισης του ΣΣ
Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιεςΜέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες
OUTDOOROUTDOORENTERTAINMENTENTERTAINMENT
ENTERTAINMENTENTERTAINMENTOUTDOOROUTDOOR
πλήθος εννοιών OUTDOOR: 72360 εικόνες ENTERTAINMENT: 77605
Και (AND) τις δυο: 60014
χρόν
ος α
πόκρ
ισης
Χρόνος Απόκρισης ΣΣ [3]Σχέση πλήθος εννοιών – αποτελεσμάτων
πλήθος εννοιών
χρόν
ος
απόκ
ριση
ςπλ
ήθος
απ
οτελ
εσμά
των
OUTDOOROUTDOOR
ENTERTAINMENTENTERTAINMENT
ENTERTAINMENTENTERTAINMENT
OUTDOOROUTDOOR
προσθέτουν τις 60014 κοινές εικόνες στο σετ
αποτελέσματος
υπολογισμός 60014
πιθανοτήτων ένωσης
εμφάνιση μιας νέας
πιθανότητας για κάθε μια εκ των 60014 κοινών
εικόνων
Χρόνος Απόκρισης ΣΣ [4]Σχέση πλήθος αποτελεσμάτων - χρόνος απ.
Αναμένουμε έντονα παραβολική σχέση ανάμεσα στο πλήθος αποτελεσμάτων της αναζήτησης και τον χρόνο απόκρισης του
ΣΣ
X:πλήθος αποτελεσμάτων, Y:χρόνος απόκρισης
A - Z Z - A
Χρόνος Απόκρισης ΣΣ [5]Σχέση πλήθος εγγραφών - χρόνος απόκρ.
X:πλήθος ανακτημένων εγγραφών, Y:χρόνος απόκρισηςA - Z Z - A
Επειδή κάθε ανακτημένη εγγραφή από την ΒΔ (Βήμα 1) προκαλεί συνήθως ένα νέο υπολογισμό πιθανότητας ένωσης γεγονότων
Αναμένουμε μια γραμμική ή ελαφρώς παραβολική σχέση ανάμεσα στο πλήθος των ανακτημένων εγγραφών και τον χρόνο
απόκρισης
Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου
σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»
είναι συχνά επίσης ανεπαρκής
Αυτό συμβαίνει διότι: Ο σχολιασμός, ιδιαίτερα σε πεδία ελεύθερου κειμένου (headline, caption, κ.α.), είναι υποκειμενικός καθώς βασίζεται στην κρίση του σχολιαστή. Συνήθως πολλά πεδία μεταδεδομένων έχουν μείνει κενά (NULL) απ’ τον σχολιαστή.
Για διαφορετικούς όμως λόγους:
Η χρήση μιας έννοιας (BICYCLE) μας φέρνει 4662 αποτελέσματα. Μεγάλο σετ αποτελέσματος για να πλοηγηθεί ο μέσος χρήστης!Η απλή απαίτηση οι εικόνες που ζητάμε έχουν τραβηχτεί στην ΓΕΡΜΑΝΙΑ (πεδίο countryname: GERMANY) κατεβάζει το σετ στα 411 αποτελέσματα!
Ομοίως:
Η χρήση τριών εννοιών (ENTERTAINMENT, OUTDOOR, BICYCLE) θα μας δώσει 89998 αποτελέσματα, ενώ η γνώση ότι ψάχνουμε για εικόνες στην Δρέσδη (city: DRESDEN) θα μας κατεβάσει το σετ στα 472 αποτελέσματα!
Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου
σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»
είναι συχνά επίσης ανεπαρκής Η χρήση πολλών εννοιών από κοινού δεν έχει
πάντα θετικά αποτελέσματα
Αν π.χ. ψάχνουμε «ποδηλάτες», η χρήση μόνο της έννοιας BICYCLE ενδείκνυται σε σχέση με την χρήση από κοινού των OUTDOOR, BICYCLE και ENTERTAINMENT
4662 4662 αποτελέσματ
αποτελέσματαα
8999889998Χιλιάδες δεν έχουν καμία σχέση με BICYCLE!
Ακόμα και στις πρώτες εκατοντάδες του αποτελέσματος βρίσκουμε εικόνες χωρίς
BICYCLE.
Συμπεράσματα Η χρήση μόνο «Αναζήτησης βάσει κειμένου
σχολιασμού» είναι ανεπαρκής Η χρήση μόνο «Εννοιολογικής αναζήτησης»
είναι συχνά επίσης ανεπαρκής Η χρήση πολλών εννοιών από κοινού δεν έχει
πάντα θετικά αποτελέσματα Σχετικά φτωχή η αξία των αποτελεσμάτων
όταν οι βαθμολογίες των εικόνων σε σχέση με π.χ. δυο έννοιες διαφέρουν κατά πολύ
Στο ερώτημα με GOLF και SKY λαμβάνουμε 3210 αποτελέσματα. Όμως η πρώτη εικόνα που σχετίζεται (και) με την GOLF ταξινομείται 81η θέση!
Βαθμολογίες SKY >> Βαθμολογίες GOLF