Post on 18-Jul-2020
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität
SWIF 2012: 08. – 10. November 2012 Session 4 „All about Search – Suchmaschinen und ihre Evaluierung“
Sebastian Sünkler
Hochschule für Angewandte Wissenschaften Hamburg
sebastian.suenkler@haw-hamburg.de
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Übersicht
● Rahmenbedingungen zur Master-Thesis
● Evaluierung von Suchmaschinen
● Entwicklung des Prototyps
● Abgleich des Prototyps mit dem Evaluierungsmodell
● Grenzen des Prototyps
● Fazit und Ausblick
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Rahmenbedingungen zur
Master-Thesis
● Masterstudiengang Informationswissenschaft und –
management an der Fakultät Design, Medien und
Information im Department Information
● Bearbeitungszeitraum: 01. September 2011 – 28.
Februar 2012
● Master of Arts
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen
Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/for/lowres/forn828l.jpg
Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/jdi/lowres/jdin268l.jpg
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Messung der Qualität
● Bereiche bei der Qualitätsmessung von
Suchmaschinen nach Lewandowski und Höchstötter:
● Qualität des Index
● Qualität der Suchresultate
● Qualität der Suchfunktionen
● Nutzerfreundlichkeit von Suchmaschinen
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Messung der Qualität
● Bereiche bei der Qualitätsmessung von
Suchmaschinen nach Lewandowski und Höchstötter:
● Qualität des Index
● Qualität der Suchresultate
● Qualität der Suchfunktionen
● Nutzerfreundlichkeit von Suchmaschinen
in Kombination mit Erhebungen zum Nutzerverhalten
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Beispiele für Forschungsfragen
Quelle: http://techwyse.com/blog/wp-content/uploads/2009/08/google-ranks-first-in-search-satisfaction.jpg
Quelle: http://goodcreditscore.dnb.com/wp-content/uploads/2012/06/search-ranking.jpg
● Ist Google wirklich die beste Suchmaschine?
● Wie gut sind die Suchergebnisse von Suchmaschinen
untereinander?
● Inwieweit können erhobene Interaktionsdaten von Nutzern für
die Relevanzbewertung genutzt werden?
● …
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Evaluierungsmethoden
● Evaluierung von Suchdiensten hat eine lange Tradition
● systemorientierte Methoden
● Suchmaschine im Fokus
● klassische Retrievaltests
● Standardaufbau vorhanden
● Klicktests
● nutzerorientierte Methoden
● Benutzer im Fokus
● Schwierigkeiten bei der Entwicklung von Standards
● objektive und subjektive Methoden
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
explorative Suche
Quelle: Marchionini, Gary: Exploratory Search : From Finding to Understanding. In: Communication of the ACM, 49(4), 2006, S. 41 – 46.
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Zusammenführung der Methoden
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Zusammenführung der Methoden
1. Auswahl der Suchmaschinen
2. Definition der Zielgruppe
3. Festlegung des Testzeitraums, Testumgebung
4. Gestaltung von Fragebögen
5. Gestaltung simulierter Arbeitsaufgaben
6. Festlegung von Skalen
7. Analyse der durchgeführten Suchen
8. Generierung von Ergebnissets
9. Auswertung der Daten
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
eingesetzte Tools
● Relevance Assessment Tool
● Entwickelt an der HAW zur Verwaltung und Durchführung
von Retrievaltests
● webbasierte Anwendung
● Search Logger
● Entwickelt an der Universität Tartu in Estland zur
Protokollierung von Nutzerinteraktionen bei der Bearbeitung
von Suchaufgaben
● Gestaltung von Suchaufgaben
● Browser Add-on für Mozilla Firefox
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Relevance Assessment Tool
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Search Logger
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Anforderungen an den Prototyp
● Bereitstellung eines Administrationsinterfaces zur Gestaltung von Projekten
● Optionen zur Entwicklung von Arbeitsaufgaben.
● Export-Funktion für die automatische Erstellung der Browser-Extension
● Automatische Zusammenstellung der Ergebnissets für die Retrievaltests
● Funktionen für eine automatische Analyse der Logdaten
● Verbindung der Suchaufgaben aus der explorativen Suche und dem
Retrievaltest
● Anpassung der Sprache für die Test
● Definition von Skalen für die Bewertung der Suchergebnisse
● Export-Funktion der Ergebnisse aus den Projekten
● Systemunabhängigkeit bezogen auf die gängigsten Betriebssysteme
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Technische Voraussetzungen
● Webanwendung
● PHP
● MySQL
● JavaScript
● HTML / CSS
● Entwicklung einer gemeinsamen Datenbank für beide
Anwendungen
● Scraper aus dem Relevance Assessment Tool
● lokale Installation im Firefox Version 3.6
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Systemarchitektur
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Ergebnisse aus einem Projekt
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Abgleich des Prototyps mit dem
Evaluierungsmodell
Nr. Anforderung Umsetzung im Prototyp
1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt
2 Definition der Zielgruppe Ist keine technische Entscheidung
3 Festlegung des Testzeitraums, Testumgebung
durch Browser Add-On und Webanwendung frei wählbar.
4 Gestaltung von Fragebögen unterstützt die Anpassung von Pre- und Post-Fragebögen sowie die Gestaltung eines Formulars für die Abfrage demografischer Daten
5 Gestaltung simulierter Aufgaben Erstellung von Aufgaben mit Informationsbedürfnis, Beschreibung sowie fest definierten Skalen und Cutoff-Werten
6 Festlegung von Skalen offene und geschlossene Skalen sowie Kommentarfelder
7 Analyse durchgeführter Suchen automatische Analyse der Suchanfragen, gesichteten Webseiten und Suchergebnisse und der Suchmaschinen
8 Generierung von Ergebnissets die ausgewerteten Daten werden zur automatischen Generierung von Ergebnissets genutzt
9 Auswertung der Daten Aggregation der protokollierten Interaktionen und den expliziten Bewertungen der Ergebnisse
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Grenzen des Prototyps
● nur in Verbindung mit Firefox in Version 3.6 nutzbar
● Google-Instant muss deaktiviert werden
● lokale Installation notwendig
● keine automatische Auswertung der Daten
● kein Universal Search
● ständige, manuelle Pflege der Suchmaschinenscraper
notwendig
● keine Unterstützung einer Erfassung von Ein-schätzungen des
Benutzers während der Bearbeitung von Aufgaben
● unterstützt bisher nur Google und Microsoft Bing
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Fazit und Ausblick
● Das Modell und der Prototyp bieten neue Möglichkeiten in der
Evaluierung von Suchmaschinen.
● Nutzerverhalten und Retrievaltests werden kombiniert
● Planung der Studien bleibt weiterhin wichtigster Bestandteil
● Die vorgestellte Software ist eine Vereinfachung für
Testdurchführung und Datenerhebung.
● Weiterentwicklung für die Erhebung weiterer Suchergebnistypen
● Anpassung an eine modernere Firefox Version
● Lösung für eine Nutzung ohne lokale Installation
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Vielen Dank für Ihre Aufmerksamkeit!
RAT Mini-Demo: http://www.searchstudies.org/rat
Zugangscode: RAT-Test