MULTIMEDIA-ANALYSE-TECHNOLOGIEN
Verfahren zur Evaluation
SeminarDr. Harald Sack / Jörg Waitelonis / Haojin Yang
Nadine Ludwig / Magnus Knuth / Bernhard QuehlHasso-Plattner-Institut für Softwaresystemtechnik
Universität PotsdamSommersemester 2011
Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
2
Multimedia-Analyse-Technologien
1. Evaluation Einführung
2. Grafische Visualisierung
3. Evaluation Beispiele
4. Sonstiges
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
3
Multimedia-Analyse-TechnologienEvaluationsverfahren
Zusammenhang
■ Video Analyse Technologien liefern Metadaten, die Inhalt und Struktur der analysierten Daten beschreiben
■ Metadaten sind Grundlage für darauf aufbauende Information Retrieval Verfahren
Warum?
■ Wie gut arbeiten die eingesetzten Video Analyse Technologien?
■ ...sind unsere Verfahren genauso gut wie bereits Existierende?
■ ...oder sind sie sogar besser?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
4
Multimedia-Analyse-TechnologienEvaluationsverfahren
Warum?
■ Information Retrieval ist eine empirische Disziplin
■ Wann liefert IR ein gutes Ergebnis? Wann ist es signifikant?
■ Feststellen der ‘Güte’ des Ergebnisses des IR
Wofür?
■ Effizienz von IR-Systemen / Klassifikatoren ermitteln
■ Vergleich von IR-Systemen / Klassifikatoren
■ Verbesserung von Algorithmen (Optimierung)
Womit?
■ Was ist ein Maß für die Wirksamkeit eines IR-Systems?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5
Multimedia-Analyse-TechnologienEvaluationsverfahren
Warum Evaluation?
IDEE:
■ Vergleiche das Ergebnis des IR-Systems mit dem idealen Ergebnis.
■ Ideales Ergebnis:
■ Sammlung von Dokumenten (Datensatz zum Experiemetieren)
■ Relevanz Urteil (i. A. relevant vs. nicht relevant)
■ (manuell) vorgegeben
■ “Gold Standard”
■ möglichst von mehreren Personen beurteilt
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
Automatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
Automatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
Testergebnis
Automatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
Testergebnis
Manuelle KlassifikationAutomatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”Testergebnis
Manuelle KlassifikationAutomatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”Testergebnis
Manuelle Klassifikation
= ?
Automatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”Testergebnis
Manuelle Klassifikation
= ?
Automatische Klassifikation
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
7
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”
Manuelle Klassifikation
= ?
Automatische Klassifikation
Testergebnis
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
7
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”
Manuelle Klassifikation
= ?
Automatische Klassifikation
Testergebnis
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
7
Multimedia-Analyse-TechnologienEvaluationsverfahren
Testdaten
“Gold Standard”
Manuelle Klassifikation
= ?
Automatische Klassifikation
Testergebnis
Wie kann man das Ganze quantifizieren?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
Menge aller Dokumente
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
Menge aller DokumenteAufgabe: finde alle
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Menge aller DokumenteAufgabe: finde alle
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
ErgebnisMenge aller Dokumente
Aufgabe: finde alle
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FN)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FN)
Recall =
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FN)
Recall =
Trefferquote (Recall): Mit welcher Wahrscheinlichkeit finden wir überhaupt einen Apfel?(Wie vollständig ist das Ergebnis?)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FN)
Recall =
Trefferquote (Recall): Mit welcher Wahrscheinlichkeit finden wir überhaupt einen Apfel?(Wie vollständig ist das Ergebnis?)
p( positiv erkannt | tatsächlich positiv )
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
false positive (FP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false positive (FP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP) TP (TP + FP)
false positive (FP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP) TP (TP + FP)
Precision =
false positive (FP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP) TP (TP + FP)
Precision =
Genauigkeit (Precision): Mit welcher Wahrscheinlichkeit ist im gefundenen Obst ein Apfel?
false positive (FP)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP) TP (TP + FP)
Precision =
Genauigkeit (Precision): Mit welcher Wahrscheinlichkeit ist im gefundenen Obst ein Apfel?
false positive (FP)
p( negativ erkannt | tatsächlich positiv )
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
11
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FP)
Precision =
false positive (FP)
TP (TP + FN)
Recall =
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
11
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FP)
Precision =
false positive (FP)
true negative (TN)
TP (TP + FN)
Recall =
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
11
Multimedia-Analyse-TechnologienEvaluationsverfahren
relevant unrelevant
Ergebnis
Beispiel: Recall und Precision als Qualitätsmaß
true positive (TP)
false negative (FN)
TP (TP + FP)
Precision =
false positive (FP)
true negative (TN)
TP (TP + FN)
Recall =
FP (FP + TN)
Fallout =
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-TechnologienEvaluationsverfahren
■ Wie können Recall und Precision zu einem Wert kombiniert werden?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-TechnologienEvaluationsverfahren
■ Wie können Recall und Precision zu einem Wert kombiniert werden?
F1 =2 · precision · recallprecision + recall
1
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-TechnologienEvaluationsverfahren
■ Wie können Recall und Precision zu einem Wert kombiniert werden?
F1 =2 · precision · recallprecision + recall
1
Fβ = (1 + β2) · precision · recallβ2 · precision + recall
1
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-TechnologienEvaluationsverfahren
■ Wie können Recall und Precision zu einem Wert kombiniert werden?
■ Mit β kann der Einfluß von Recall oder Precision auf den Gesamtwert gesteuert werden
F1 =2 · precision · recallprecision + recall
1
Fβ = (1 + β2) · precision · recallβ2 · precision + recall
1
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
13
Multimedia-Analyse-Technologien
1. Evaluation Einführung
2. Grafische Visualisierung
3. Evaluation Beispiele
4. Sonstiges
Mittwoch, 4. Mai 2011
• Gnuplot: Visualisierung von Daten
• http://www.gnuplot.info/
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
14
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (1)
Daten + Gnuplot Script = schöne Grafik
22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255
Mittwoch, 4. Mai 2011
• Gnuplot: Visualisierung von Daten
• http://www.gnuplot.info/
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
14
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (1)
Daten + Gnuplot Script = schöne Grafik
22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255
set terminal postscript portrait "Arial" colorset size 1.0,0.3
set ylabel 'no. of terms'set xlabel 'no. of related resources per term'
plot "data.txt" using 1:2 with lines lw 3 title "without properties"
Mittwoch, 4. Mai 2011
• Gnuplot: Visualisierung von Daten
• http://www.gnuplot.info/
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
14
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (1)
Daten + Gnuplot Script = schöne Grafik
22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255
set terminal postscript portrait "Arial" colorset size 1.0,0.3
set ylabel 'no. of terms'set xlabel 'no. of related resources per term'
plot "data.txt" using 1:2 with lines lw 3 title "without properties"
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
15
Evaluation für Optimierung
■ Recall und Precision werden für jeden Testlauf neu berechnet
■ Verändere die Konfigurationsparameter des Algorithmus so, dass Recall und Precision (bzw. F-Measure) maximiert werden.
■ Ermittle Precision und Recall nur für einen Parameter und lasse die anderen fix.
■ Wähle die Parameter möglichst so, dass auch Grenzfälle berücksichtigt werden.
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (2)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
16
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (3)
Precision/Recall Diagramm
■ jeder Datenpunkt entspricht einem Testdurchlauf (Run)
■ P/R sind im Allgemeinen umgekehrt proportional
gnuplot pr-graph.plot
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
16
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (3)
Precision/Recall Diagramm
■ jeder Datenpunkt entspricht einem Testdurchlauf (Run)
■ P/R sind im Allgemeinen umgekehrt proportional
# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10
param1.dat
gnuplot pr-graph.plot
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
16
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (3)
Precision/Recall Diagramm
■ jeder Datenpunkt entspricht einem Testdurchlauf (Run)
■ P/R sind im Allgemeinen umgekehrt proportional
# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10
param1.dat
#set terminal postscript portrait "Times" colorset terminal x11set ylabel 'Precision'set xlabel 'Recall'
plot 'param1.dat' using 2:1 with lines title 'pr-graph'
pause -1
pr-graph.plot
gnuplot pr-graph.plot
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
17
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (4)
F-Measure Diagramm
■ Testdurchläufe auf der X-Achse
■ das Maximum zeigt den Durchlauf mit den besten Parametern
# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10
param1.dat m-graph.plot
#set terminal postscript portrait "Times" colorset terminal x11set ylabel 'F-Measure'set xlabel 'Parameter Run'
plot 'param1.dat' using 3:(2 * $2 * $1 / ($2+$1) ) with lines title 'f-measure';
pause -1
gnuplot m-graph.plot
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
18
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (5)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
18
Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (5)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
19
Multimedia-Analyse-Technologien
1. Evaluation Einführung
2. Grafische Visualisierung
3. Evaluation Beispiele
4. Sonstiges
Mittwoch, 4. Mai 2011
2
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse-TechnologienEvaluation Video Text Identification
Evaluation Video Text Identification
Mittwoch, 4. Mai 2011
Textlokalisation in Videos
Aufgabe:
welche Bilder in dem Video enthalten Text ?
in Welcher Bildregion befindet sich der Text?
1
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse Technologien
Bild ohne Text
Bestimmen der Bildregion
Bild mit Text
Mittwoch, 4. Mai 2011
Bestimmen der Bildregion2
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse Technologien
finden der Bounding Box?
Bild in lokale Regionen
aufteilenTe
xtbes
timmung in
lokaler
Reg
ionen
Mittwoch, 4. Mai 2011
3
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Region der gefundenen Dokumente
Recall Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
Mittwoch, 4. Mai 2011
4
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Region der gefundenen Dokumente
Recall Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
Mittwoch, 4. Mai 2011
5
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Recall Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
2. Bestimmung der vergessenden Text- Regionen = False Negative Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
Recall =TP
TP + FN=
4
4 + 1
15696px22295px = 0.7
Uberlappungsflache
Flache der grosseren Bounding Box> Threshold (z.b. 80%)
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
6
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Recall Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
2. Bestimmung der vergessenden Text- Regionen = False Negative
3.
Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
7
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Precision Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
8
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Precision Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
9
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Precision Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
2. Bestimmung der falsch gefundenen Text- Regionen = False Positive Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
10
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Precision Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
2. Bestimmung der falsch gefundenen Text- Regionen = False Positive
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
Precision =TP
TP + FP=
4
4 + 1
15696px22295px = 0.7
Uberlappungsflache
Flache der grosseren Bounding Box> Threshold (z.b. 80%)
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
11
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Evaluation Text-Textlokalisation
Evaluationsverfahren für Textidentifikation – Block/Pixel genau
FNTP
FP
Region der gefundenen Dokumente
Region der relevanten Dokumente
Precision Berechnung :
1. Bestimmung der übereinstimmenden- Textregionen = True Positive
2. Bestimmung der falsch gefundenen Text- Regionen = False Positive
3.
Region der gefundenen Dokumente
Mittwoch, 4. Mai 2011
Methode 1:
TP : Anzahl der korrekt detektierten Bounding Boxes
FN : Anzahl der inkorrekt detektierte Bounding Boxes
FP : Anzahl der nicht gefundenen Bounding Box in der Ground Truth
3
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
ground truth (19375 px) Detektion result (22295 px)Überlappung (15696 px)
Recall =TP
TP + FN
15696px22295px = 0.7
Uberlappungsflache
Flache der grosseren Bounding Box> Threshold (z.b. 80%)
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Precision =TP
TP + FP
15696px22295px = 0.7
Uberlappungsflache
Flache der grosseren Bounding Box> Threshold (z.b. 80%)
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Methode 1:
workflow:
• Überlappungsfläche von gefundener und gesuchter Bounding Box berechnen
• Größere Bounding Box berechnen
• Wenn
➔ korrekt detektierte Bounding Box
3
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
ground truth (19375 px) Detektion result (22295 px)Überlappung (15696 px)
Beispiel:
→ inkorrekt detektiert
15696px22295px = 0.7
Precision = 0+1+03 = 0.3
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
15696px22295px = 0.7
Uberlappungsflache
Flache der grosseren Bounding Box> Threshold (z.b. 80%)
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Beispiel zur Methode 1:
Detektierte Bounding Boxes:
50% < 80% ➔ 0
85% > 80% ➔ 1
0 < 80% ➔ 0
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
ground truth Detektion result
Überlappung
1
2
3
123
Recall = 0+1+02 = 0.5
Precision = 0+1+03 = 0.3
F1 −measure = 0.375
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Methode 2:
Vorteil: kein Threshold nötig
workflow:
• Gesamte umschließende Fläche G von
zwei Bounding Boxes berechnen
• mp: Matching Percentage berechnen
→
3
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
gesamte umschließende Fläche von zwei Bounding Boxes (27181 px)
Ground Truth (19375 px) Ergebnis Detektion (22295 px)
Überlappung (15696 px)
Beispiel:
mp = UberlappungsflacheG
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
mp = 15696 px27181px = 58%
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Methode 2:
Vorteil: kein Threshold nötig
workflow:
• Gesamte umschließende Fläche G von
zwei Bounding Boxes berechnen
• mp: Matching Percentage berechnen
→
3
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
gesamte umschließende Fläche von zwei Bounding Boxes (27181 px)
Ground Truth (19375 px) Ergebnis Detektion (22295 px)
Überlappung (15696 px)
Beispiel:
mp = UberlappungsflacheG
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
mp = 15696 px27181px = 58%
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Methode 2:
Matching Funktion m(r, R):
r‘ ∈ R (R: Bounding Box Set)
• r: gesuchte Bounding Box
• R: Menge von Bounding Box
• allgemeine Berechnungsgrundlage für Recall, Precision
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
recall =�
rt∈T
m(rt, E)
T
1
precision =�
re∈E
m(re, T )
E
1
T: Ground Truth Bounding Box set
E: gefundene Bounding Box set
m(r,R) = maxmp(r, r�)
1
Mittwoch, 4. Mai 2011
Beispiel zur Methode 2:
T{B1, B2} E{B1, B2, B3}
B1: m(B1, E) = mpmax = 50%
B2: m(B2, E) = mpmax = 62%
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
Ground Truth Ergebnis Detektion
Überlappung gesamte umschließende Fläche von zwei Bounding Boxes
where r‘ ∈ R (Bounding box set)
B1
B2
B1
B2B3
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
Recall = 0.5+0.622 = 0.56
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Beispiel zur Methode 2:
T{B1, B2} E{B1, B2, B3}
B1: m(B1, E) = mpmax = 50%
B2: m(B2, E) = mpmax = 62%
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
Ground Truth Ergebnis Detektion
Überlappung gesamte umschließende Fläche von zwei Bounding Boxes
where r‘ ∈ R (Bounding box set)
B1
B2
B1
B2B3
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
Recall = 0.5+0.622 = 0.56
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Mittwoch, 4. Mai 2011
Beispiel zur Methode 2:
T{B1, B2} E{B1, B2, B3}
B1: m(B1, T) = mpmax = 50%
B2: m(B2, T) = mpmax = 62%
B3: m(B3, T) = mpmax = 0
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
B1
B2
B1
B2B3
where r‘ ∈ R (Bounding box set)m(r, R) = maxmp(r, R�)Precision =
�re∈E
m(re,T )E
1
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
F1 −measure = 0.45
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Precision = 0.5+0.62+03 = 0.37
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Ground Truth Ergebnis Detektion
Überlappung gesamte umschließende Fläche von zwei Bounding Boxes
Mittwoch, 4. Mai 2011
Beispiel zur Methode 2:
T{B1, B2} E{B1, B2, B3}
B1: m(B1, T) = mpmax = 50%
B2: m(B2, T) = mpmax = 62%
B3: m(B3, T) = mpmax = 0
4
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia Analyse TechnologienEvaluation Text-Textlokalisation
B1
B2
B1
B2B3
where r‘ ∈ R (Bounding box set)m(r, R) = maxmp(r, R�)Precision =
�re∈E
m(re,T )E
1
m(r, R) = maxmp(r, R�)Recall =
�rt∈T
m(rt,E)T
1
F1 −measure = 0.45
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Precision = 0.5+0.62+03 = 0.37
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
Ground Truth Ergebnis Detektion
Überlappung gesamte umschließende Fläche von zwei Bounding Boxes
Mittwoch, 4. Mai 2011
2
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse-TechnologienEvaluation Video Genre Detection
Evaluation Video Genre Detection
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
40
EvaluationsverfahrenGenre Detection
segm
ent
segm
ent
frame: 1001
frame: 1004
Genre Detection
Genre Detection
Framebezogene Auswertung, Bsp. indoor
segm
ent
frame: 1007
Genre Detection
segm
ent
Genre Detection
frame: 1010
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
40
EvaluationsverfahrenGenre Detection
segm
ent
segm
ent
frame: 1001
frame: 1004
Genre Detection
Genre Detection
Framebezogene Auswertung, Bsp. indoor
segm
ent
frame: 1007
Genre Detection
segm
ent
Genre Detection
frame: 1010
{1001,indoor}
{1004,indoor}
{1007,indoor}
{1010,¬indoor}
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
41
EvaluationsverfahrenGenre Detection
frame genre
1001 indoor
1004 ¬indoor
1007 indoor
1010 indoor
Ground Truth {1001,indoor}
{1004,indoor}
{1007,indoor}
{1010,¬indoor}
Framebezogene Auswertung, Bsp. indoor
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
41
EvaluationsverfahrenGenre Detection
frame genre
1001 indoor
1004 ¬indoor
1007 indoor
1010 indoor
Ground Truth {1001,indoor}
{1004,indoor}
{1007,indoor}
{1010,¬indoor}
Framebezogene Auswertung, Bsp. indoor
TP
TP
FP
FN
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
41
EvaluationsverfahrenGenre Detection
frame genre
1001 indoor
1004 ¬indoor
1007 indoor
1010 indoor
Ground Truth {1001,indoor}
{1004,indoor}
{1007,indoor}
Recall = TPTP+FN = 2
2+1 = 0.667
Precision = TPTP+FP = 2
2+1 = 0.667
1
{1010,¬indoor}
Framebezogene Auswertung, Bsp. indoor
TP
TP
FP
FN
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
42
EvaluationsverfahrenGenre Detection
Evaluation über Recall/Precision:
• Berechnung von True Positives, False Positives etc.
• für jedes Genre einzeln
• Framebezogen, jeweils 1 Frame pro Segment
• binäre Zuordnung (indoor: ja/nein) oder mit Wahrscheinlichkeitswerten (mit 60% Wahrscheinlichkeit indoor)
Mittwoch, 4. Mai 2011
2
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse-TechnologienEvaluation Face Clustering
Evaluation Face Clustering
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
44
Multimedia-Analyse-TechnologienEvaluation Faces (1)
Evaluation von Clustering Algorithmen
■ Algorithmus auf Daten bekannter Zuordnung (External Indices)
■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices)
■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
45
Multimedia-Analyse-TechnologienEvaluation Faces (2)
Evaluation von Clustering Algorithmen
■ Algorithmus auf Daten bekannter Zuordnung (External Indices)
■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices)
■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
46
Multimedia-Analyse-TechnologienEvaluation Faces (3)
Evaluation von Clustering Algorithmen
■ Gegeben sind:
■ eine Datenmenge D mit Zuordnung zu Klassen K
■ ein Qualitätsmaß (externer Index).
■ Ziel:
■ Validieren eines Clusterings, das aus n Clustern besteht.
■ Allgemein:
■ Für jeden Cluster Ci:
■ Berechnung der Qualität gegenüber jeder Klasse Kj
■ Aggregation der Werte pro Cluster
■ Aggregation der Werte für das gesamte Clustering
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
473
Multimedia-Analyse-TechnologienEvaluation Faces (4)
Evaluation von Clustering: Qualitätsmaß
■Klassifikationsorientierte Maße:
■ Purity
■ Precision & Recall
■ F-Measure
■ Ähnlichkeitsorientierte Maße:
■Rand Index
Wie gut hat das Clusteringdie Klassenzuordnung “geraten”?
Inwiefern stimmt das Clusteringmit der Klassenzuordnung überein?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
48
Multimedia-Analyse-TechnologienEvaluation Faces (5)
Anfertigen einer Ground Truth (bekannte Zuordnung)
■ Ziel: Festlegen von Identitäten
■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
48
Multimedia-Analyse-TechnologienEvaluation Faces (5)
1. Thomas 2. Katy 3. Miley
Anfertigen einer Ground Truth (bekannte Zuordnung)
■ Ziel: Festlegen von Identitäten
■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
48
Multimedia-Analyse-TechnologienEvaluation Faces (5)
1. Thomas 2. Katy 3. Miley
Anfertigen einer Ground Truth (bekannte Zuordnung)
■ Ziel: Festlegen von Identitäten
■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
49
Multimedia-Analyse-TechnologienEvaluation Faces (6)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Hauptklassen bestimmen (Majority Classes)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
49
Multimedia-Analyse-TechnologienEvaluation Faces (6)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Hauptklassen bestimmen (Majority Classes)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
49
Multimedia-Analyse-TechnologienEvaluation Faces (6)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Hauptklassen bestimmen (Majority Classes)
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
2 + 2 + 2 Purity =
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
2 + 2 + 2 Purity =
8
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
50
Multimedia-Analyse-TechnologienEvaluation Faces (7)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
2 + 2 + 2 Purity =
8= 75%
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
51
Multimedia-Analyse-TechnologienEvaluation Faces (8)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut passt ein gefundener Cluster zu den Klassen?
■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes
Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3
2 + 2 + 2 Purity =
8= 75%
Problem 1: Wenn jedes Bild in ein eigenes Cluster eingeordnet wird ist Purity = 1.
Problem 2: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
52
Multimedia-Analyse-TechnologienEvaluation Faces (10)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut wurde der jeweilige Cluster erkannt?
■ Precision & Recall
Vergleich zu Klasse 1
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
52
Multimedia-Analyse-TechnologienEvaluation Faces (10)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut wurde der jeweilige Cluster erkannt?
■ Precision & Recall
Vergleich zu Klasse 1
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
52
Multimedia-Analyse-TechnologienEvaluation Faces (10)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut wurde der jeweilige Cluster erkannt?
■ Precision & Recall
Vergleich zu Klasse 1
Recall = TP / (TP + FN) = 1.0
korrekt gefunden nicht gefunden
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
52
Multimedia-Analyse-TechnologienEvaluation Faces (10)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Wie gut wurde der jeweilige Cluster erkannt?
■ Precision & Recall
Vergleich zu Klasse 1
Recall = TP / (TP + FN) = 1.0
korrekt gefunden nicht gefunden
Precision = TP / (TP + FP) = 0.66
falsch gefunden
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
53
Multimedia-Analyse-TechnologienEvaluation Faces (11)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Aggregieren der Werte aller Cluster (z. B. Mittelwert)
R = 1.0P = 0.66
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
53
Multimedia-Analyse-TechnologienEvaluation Faces (11)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Aggregieren der Werte aller Cluster (z. B. Mittelwert)
R = 1.0P = 0.66
R = 1.0P = 0.66
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
53
Multimedia-Analyse-TechnologienEvaluation Faces (11)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Aggregieren der Werte aller Cluster (z. B. Mittelwert)
R = 1.0P = 0.66
R = 1.0P = 0.66
R = 0.5P = 1.0
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
53
Multimedia-Analyse-TechnologienEvaluation Faces (11)
Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus
■ Aggregieren der Werte aller Cluster (z. B. Mittelwert)
R = 1.0P = 0.66
R = 1.0P = 0.66
R = 0.833P = 0.773
R = 0.5P = 1.0
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5433
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5433
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elementen
Mittwoch, 4. Mai 2011
(a) Paar ist im selben Cluster und in der selben Klasse
(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen
(c) Paar ist im selben Cluster und in unterschiedlichen Klassen
(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5433
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elementen
Mittwoch, 4. Mai 2011
(a) Paar ist im selben Cluster und in der selben Klasse
(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen
(c) Paar ist im selben Cluster und in unterschiedlichen Klassen
(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5433
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elemententrue positive (TP)
false negative (FN)false positive (FP)
true negative (TN)
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5533
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5533
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elementen
Mittwoch, 4. Mai 2011
(a) Paar ist im selben Cluster und in der selben Klasse
(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen
(c) Paar ist im Selben Cluster und in unterschiedlichen Klassen
(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5533
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elementen
Mittwoch, 4. Mai 2011
(a) Paar ist im selben Cluster und in der selben Klasse
(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen
(c) Paar ist im Selben Cluster und in unterschiedlichen Klassen
(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5533
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elemententrue positive (TP)
false negative (FN)false positive (FP)
true negative (TN)
Mittwoch, 4. Mai 2011
(a) Paar ist im selben Cluster und in der selben Klasse
(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen
(c) Paar ist im Selben Cluster und in unterschiedlichen Klassen
(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5533
Multimedia-Analyse-TechnologienEvaluation Faces (12)
Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?
■ Lösung: Rand-Index
■ Betrachte Paare von Elemententrue positive (TP)
false negative (FN)false positive (FP)
true negative (TN)
Rand Index = TP + TN
TP + FP + FN + TN
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5633
Multimedia-Analyse-TechnologienEvaluation Faces (13)
Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?
1 2 3 4
6
8
7 5
■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden
1 2 3 4 5 6 7 8
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5633
Multimedia-Analyse-TechnologienEvaluation Faces (13)
Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?
1 2 3 4
6
8
7 5
■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden
same Cluster
different Cluster
same Class
TP = 2 FN = 6
different Class
FP = 3 TN = 171 2 3 4 5 6 7 8
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5633
Multimedia-Analyse-TechnologienEvaluation Faces (13)
Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?
1 2 3 4
6
8
7 5
■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden
same Cluster
different Cluster
same Class
TP = 2 FN = 6
different Class
FP = 3 TN = 171 2 3 4 5 6 7 8
RI = (2 + 17) / 28 = 0.69
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5733
Multimedia-Analyse-TechnologienEvaluation Faces (14)
Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?
1 2 3 4
6
8
7 5
■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden
1 2 3 4 5 6 7 8
RI = (2 + 17) / 28 = 0.69same Cluster
different Cluster
same Class
TP = 2 3 FN = 6 5
different Class
FP = 3 TN = 17
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
5733
Multimedia-Analyse-TechnologienEvaluation Faces (14)
Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?
1 2 3 4
6
8
7 5
■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden
1 2 3 4 5 6 7 8
RI = (2 + 17) / 28 = 0.69same Cluster
different Cluster
same Class
TP = 2 3 FN = 6 5
different Class
FP = 3 TN = 17
RI’ = (3 + 17) / 28 = 0.71
Mittwoch, 4. Mai 2011
2
Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse-TechnologienEvaluation Spellcorrection
Evaluation Spellcorrection
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
#Errors= minimal notwendige Editieroperationen
(Einfügen, Ersetzen, Löschen)
= Levenshtein-Distanz
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
#Errors= minimal notwendige Editieroperationen
(Einfügen, Ersetzen, Löschen)
= Levenshtein-Distanz
,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
accuracyOCR = (24 - 5) / 24 = 0,792
#Errors= minimal notwendige Editieroperationen
(Einfügen, Ersetzen, Löschen)
= Levenshtein-Distanz
,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
accuracyOCR = (24 - 5) / 24 = 0,792
#Errors= minimal notwendige Editieroperationen
(Einfügen, Ersetzen, Löschen)
= Levenshtein-Distanz
,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘
,ü‘-,G‘ ,‘-,_‘ ,‘-,k‘
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
59
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Character =
#Characters - #ErrorsAccuracy =
#Characters
accuracyOCR = (24 - 5) / 24 = 0,792
accuracySpellcorrection = (24 - 3) / 24 = 0,875
#Errors= minimal notwendige Editieroperationen
(Einfügen, Ersetzen, Löschen)
= Levenshtein-Distanz
,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘
,ü‘-,G‘ ,‘-,_‘ ,‘-,k‘
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
60
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (2)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
60
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (2)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Word =
#CorrectWordsAccuracy =
#Words
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
60
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (2)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
wordaccOCR = 0 / 2 = 0,0
Word =
#CorrectWordsAccuracy =
#Words
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
60
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (2)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
wordaccOCR = 0 / 2 = 0,0
wordaccSpellcorrection = 2 / 2 = 1,0
Word =
#CorrectWordsAccuracy =
#Words
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
60
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (2)
Groundtruth tatsächlicher Text
OCR erkannter Text
+Spellcorrection korrigierter Text
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
wordaccOCR = 0 / 2 = 0,0
wordaccSpellcorrection = 2 / 2 = 1,0
Word =
#CorrectWordsAccuracy =
#Words
Verwendung von ISRI Analytic Tools for OCR Evaluation1: accuracy, wordacc
1 http://code.google.com/p/isri-ocr-evaluation-tools/
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
61
Multimedia-Analyse-TechnologienEvaluation Spellcorrection (3)
accuracy wordacc
0,792 0,0
0,875 1,0
gainabs = xSpellcorrection - xOCR 0,083 1,0gainrel = xSpellcorrection / xOCR 1,105 inf
Künstlerische Konzeption
KG nstlerischa Konzcotion
KG künstlerische Konzeption
Wie groß ist der Gewinn?
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
62
Multimedia-Analyse-Technologien
1. Evaluation Einführung
2. Grafische Visualisierung
3. Evaluation Beispiele
4. Sonstiges
Mittwoch, 4. Mai 2011
Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam
6325
Multimedia-Analyse-TechnologienReferenzen
http://trec.nist.gov/presentations/TREC8/intro/sld033.htm
http://en.wikipedia.org/wiki/Information_retrieval#Recall
http://trec.nist.gov/pubs/trec15/appendices/CE.MEASURES06.pdf
Mittwoch, 4. Mai 2011
Top Related