Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität

SWIF 2012: 08. – 10. November 2012 Session 4 „All about Search – Suchmaschinen und ihre Evaluierung“

Sebastian Sünkler

Hochschule für Angewandte Wissenschaften Hamburg

sebastian.suenkler@haw-hamburg.de

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Übersicht

● Rahmenbedingungen zur Master-Thesis

● Evaluierung von Suchmaschinen

● Entwicklung des Prototyps

● Abgleich des Prototyps mit dem Evaluierungsmodell

● Grenzen des Prototyps

● Fazit und Ausblick

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Rahmenbedingungen zur

Master-Thesis

● Masterstudiengang Informationswissenschaft und –

management an der Fakultät Design, Medien und

Information im Department Information

● Bearbeitungszeitraum: 01. September 2011 – 28.

Februar 2012

● Master of Arts

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen

Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/for/lowres/forn828l.jpg

Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/jdi/lowres/jdin268l.jpg

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Messung der Qualität

● Bereiche bei der Qualitätsmessung von

Suchmaschinen nach Lewandowski und Höchstötter:

● Qualität des Index

● Qualität der Suchresultate

● Qualität der Suchfunktionen

● Nutzerfreundlichkeit von Suchmaschinen

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Messung der Qualität

● Bereiche bei der Qualitätsmessung von

Suchmaschinen nach Lewandowski und Höchstötter:

● Qualität des Index

● Qualität der Suchresultate

● Qualität der Suchfunktionen

● Nutzerfreundlichkeit von Suchmaschinen

in Kombination mit Erhebungen zum Nutzerverhalten

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Beispiele für Forschungsfragen

Quelle: http://techwyse.com/blog/wp-content/uploads/2009/08/google-ranks-first-in-search-satisfaction.jpg

Quelle: http://goodcreditscore.dnb.com/wp-content/uploads/2012/06/search-ranking.jpg

● Ist Google wirklich die beste Suchmaschine?

● Wie gut sind die Suchergebnisse von Suchmaschinen

untereinander?

● Inwieweit können erhobene Interaktionsdaten von Nutzern für

die Relevanzbewertung genutzt werden?

● …

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Evaluierungsmethoden

● Evaluierung von Suchdiensten hat eine lange Tradition

● systemorientierte Methoden

● Suchmaschine im Fokus

● klassische Retrievaltests

● Standardaufbau vorhanden

● Klicktests

● nutzerorientierte Methoden

● Benutzer im Fokus

● Schwierigkeiten bei der Entwicklung von Standards

● objektive und subjektive Methoden

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

explorative Suche

Quelle: Marchionini, Gary: Exploratory Search : From Finding to Understanding. In: Communication of the ACM, 49(4), 2006, S. 41 – 46.

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Zusammenführung der Methoden

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Evaluierung von Suchmaschinen:

Zusammenführung der Methoden

1. Auswahl der Suchmaschinen

2. Definition der Zielgruppe

3. Festlegung des Testzeitraums, Testumgebung

4. Gestaltung von Fragebögen

5. Gestaltung simulierter Arbeitsaufgaben

6. Festlegung von Skalen

7. Analyse der durchgeführten Suchen

8. Generierung von Ergebnissets

9. Auswertung der Daten

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

eingesetzte Tools

● Relevance Assessment Tool

● Entwickelt an der HAW zur Verwaltung und Durchführung

von Retrievaltests

● webbasierte Anwendung

● Search Logger

● Entwickelt an der Universität Tartu in Estland zur

Protokollierung von Nutzerinteraktionen bei der Bearbeitung

von Suchaufgaben

● Gestaltung von Suchaufgaben

● Browser Add-on für Mozilla Firefox

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Relevance Assessment Tool

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Search Logger

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Anforderungen an den Prototyp

● Bereitstellung eines Administrationsinterfaces zur Gestaltung von Projekten

● Optionen zur Entwicklung von Arbeitsaufgaben.

● Export-Funktion für die automatische Erstellung der Browser-Extension

● Automatische Zusammenstellung der Ergebnissets für die Retrievaltests

● Funktionen für eine automatische Analyse der Logdaten

● Verbindung der Suchaufgaben aus der explorativen Suche und dem

Retrievaltest

● Anpassung der Sprache für die Test

● Definition von Skalen für die Bewertung der Suchergebnisse

● Export-Funktion der Ergebnisse aus den Projekten

● Systemunabhängigkeit bezogen auf die gängigsten Betriebssysteme

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Technische Voraussetzungen

● Webanwendung

● PHP

● MySQL

● JavaScript

● HTML / CSS

● Entwicklung einer gemeinsamen Datenbank für beide

Anwendungen

● Scraper aus dem Relevance Assessment Tool

● lokale Installation im Firefox Version 3.6

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Systemarchitektur

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Ergebnisse aus einem Projekt

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Abgleich des Prototyps mit dem

Evaluierungsmodell

Nr. Anforderung Umsetzung im Prototyp

1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt

2 Definition der Zielgruppe Ist keine technische Entscheidung

3 Festlegung des Testzeitraums, Testumgebung

durch Browser Add-On und Webanwendung frei wählbar.

4 Gestaltung von Fragebögen unterstützt die Anpassung von Pre- und Post-Fragebögen sowie die Gestaltung eines Formulars für die Abfrage demografischer Daten

5 Gestaltung simulierter Aufgaben Erstellung von Aufgaben mit Informationsbedürfnis, Beschreibung sowie fest definierten Skalen und Cutoff-Werten

6 Festlegung von Skalen offene und geschlossene Skalen sowie Kommentarfelder

7 Analyse durchgeführter Suchen automatische Analyse der Suchanfragen, gesichteten Webseiten und Suchergebnisse und der Suchmaschinen

8 Generierung von Ergebnissets die ausgewerteten Daten werden zur automatischen Generierung von Ergebnissets genutzt

9 Auswertung der Daten Aggregation der protokollierten Interaktionen und den expliziten Bewertungen der Ergebnisse

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Grenzen des Prototyps

● nur in Verbindung mit Firefox in Version 3.6 nutzbar

● Google-Instant muss deaktiviert werden

● lokale Installation notwendig

● keine automatische Auswertung der Daten

● kein Universal Search

● ständige, manuelle Pflege der Suchmaschinenscraper

notwendig

● keine Unterstützung einer Erfassung von Ein-schätzungen des

Benutzers während der Bearbeitung von Aufgaben

● unterstützt bisher nur Google und Microsoft Bing

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Entwicklung des Prototyps:

Fazit und Ausblick

● Das Modell und der Prototyp bieten neue Möglichkeiten in der

Evaluierung von Suchmaschinen.

● Nutzerverhalten und Retrievaltests werden kombiniert

● Planung der Studien bleibt weiterhin wichtigster Bestandteil

● Die vorgestellte Software ist eine Vereinfachung für

Testdurchführung und Datenerhebung.

● Weiterentwicklung für die Erhebung weiterer Suchergebnistypen

● Anpassung an eine modernere Firefox Version

● Lösung für eine Nutzung ohne lokale Installation

Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012

Vielen Dank für Ihre Aufmerksamkeit!

RAT Mini-Demo: http://www.searchstudies.org/rat

Zugangscode: RAT-Test