Hier wird Wissen Wirklichkeit
Human Computer Interaction
Experten-Reviews, Usability Testing, Untersuchungen und kontinuierliche Bewertung
Prof. Dr. Detlef Krömker Institut für Informatik Johann Wolfgang Goethe-Universität
Prof. Dr. Detlef Krömker Institut für Informatik
2 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Die drei Säulen des Designs (I)
Akademische Forschung
Theorien und Modelle
Algorithmen und Prototypen
Kontrollierte Experimente
Erfolgreiche Benutzungsschnittstellen
Richtlinien und
Prozesse
UI Software
Tools
Experten- Reviews
und Usability Testing
Prof. Dr. Detlef Krömker Institut für Informatik
3 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Übersicht
‣ Einführung
‣ UI-Experten-Reviews / Interviews
‣ Usability Testing
‣ Anwenderbefragungen / -Interviews
‣ Akzeptanztests
‣ Kontinuierliche Evaluierung während der Nutzung
‣ Subjektive Tests
Prof. Dr. Detlef Krömker Institut für Informatik
4 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Einführung
‣ Häufiges Problem bei der Gestaltung von Benutzungsschnittstellen ‣ Betriebsblindheit ‣ Adäquate Evaluierung / Kritik eigener Kreationen wird “vergessen”
‣ Vermeidung dieses Problems ‣ Umfangreiche Tests und Evaluierungen
‣ Grundlage: Evaluierungsplan ‣ kurzfristige Tests über einige Tage bis zu ambitionierte
mehrjährigen Tests ‣ Kostenrahmen von 1% bis 10% der Gesamtprojektkosten
Prof. Dr. Detlef Krömker Institut für Informatik
5 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Determinanten eines Evaluierungsplans ‣ Stadium des Designs (früh, mittel, spät)
‣ Neuheit des Projektes (wohl definiert vs. explorativ)
‣ Anzahl der erwarteten Benutzer
‣ Bedeutung der Schnittstelle (lebensbedrohend – Leitsystem – selten genutzt)
‣ Kosten und verfügbare Mittel für Tests
‣ Verfügbare Zeit
‣ Erfahrung des Design- und Evaluierungsteams
Prof. Dr. Detlef Krömker Institut für Informatik
6 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Prototypen und häufiges Testen
‣ Usability-Tests sind nicht notwendigerweise teuer ‣ Früh testen ‣ Häufig testen ‣ Einfache Tests
‣ Prototypen ‣ Konzept auf Papier ‣ Papierprototyp ‣ Prototypische Implementierung der Benutzungsschnittstelle
(Mockup) ‣ Vorteile
‣ Fehler/Probleme können früh gefunden und behoben werden ‣ Jeder kann als Tester fungieren: Mitarbeiter, Freunde, Studenten,
etc. Kosten minimal!
Prof. Dr. Detlef Krömker Institut für Informatik
7 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Techniken zur Evaluierung ‣ (Informelle Demonstrationen mit Kollegen und Kunden)
‣ Lautes Denken
‣ Experten-Reviews
‣ Usability Tests
‣ … eine gute Übersicht und viele Anleitungen, Beispiele finden Sie unter http://www.stcsig.org/usability/topics/ und http://www.stcsig.org/usability/resources/toolkit/toolkit.html (forms, checklists and other useful documents for conducting usability tests and user interviews) siehe auch http://www.infodesign.com.au/usabilityresources
Prof. Dr. Detlef Krömker Institut für Informatik
8 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Lautes Denken ‣ Technik des lauten Denkens (Thinking Aloud)
‣ „Discount Usability Test“
‣ Vorgehen ‣ (Beliebige) Testperson ‣ 3-5 Tests/Personen ‣ Testpersonen bearbeiten Aufgaben und sprechen dabei laut die
jeweiligen Gedankengänge aus ‣ Protokollierung von Gedanken und Aktionen, ggf.
Verständnisfragen
‣ Kosten/Nutzen ‣ Minimale Kosten, viele Probleme/Fehler werden schnell gefunden
Prof. Dr. Detlef Krömker Institut für Informatik
9 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Experten-Reviews (I) HCI - Experten-Reviews (Expert Reviews)
Vorgehen
‣ (Externe) Experten evaluieren Anwendung ‣ 3-5 Experten (verschiedene Experten finden i.A. unterschiedliche
Probleme)
Aufwand: halber Tag bis eine Woche ‣ Ggf. auch längere vorbereitende Trainingsperiode ‣ Kurzfristig und schnell einsetzbar
Ergebnis: Bericht über potentielle Probleme
Prof. Dr. Detlef Krömker Institut für Informatik
10 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Experten-Reviews (II)
Review-Reports enthalten typischerweise:
‣ Management Summary ‣ Bezeichnung, was und wie untersucht wurde ‣ Liste der Probleme (einzeln, zu jedem Punkt): ‣ ein Kommentar ‣ eine Klassfizierung (harmlos .. gravierend) ‣ eine Prognose bezüglich erwartetem Korrekturaufwand ‣ mögliche Maßnahmen
‣ Schlussbemerkung
Prof. Dr. Detlef Krömker Institut für Informatik
11 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Experten-Reviews (III)
Verschiedene Formen von Experten-Reviews
‣ Heuristische Evaluation ‣ Richtlinien-Review ‣ Konsistenz-Inspektion ‣ Kognitiver Durchgang (Cognitive Walkthrough) ‣ Formale Usability-Inspektion
Prof. Dr. Detlef Krömker Institut für Informatik
12 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Heuristische Evaluierung Heuristische Evaluation
(Heuristic Evaluation) ‣ Nielsen und Molich 1990
‣ Vorgehensweise ‣ Kleine Anzahl von Experten, die
eine Anwendung gegen akzeptierte, heuristische Usability-Prinzipien prüfen
‣ Usability-Prinzipien: z.B. 10 Usability Heuristics nach Nielsen
‣ Typische Dauer: 1-2 Stunden???
Evaluatoren vs. Gefundene Probleme (Nielsen 1994)
Siehe auch: http://www.useit.com/papers/heuristic/
Prof. Dr. Detlef Krömker Institut für Informatik
13 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Kognitiver Durchgang ‣ Kognitiver Durchgang (Cognitive Walkthrough) ‣ Ausgangspunkt
‣ Systembeschreibung ‣ Prototypen ‣ Szenario, Zerlegung in Aktionsfolgen ‣ Benutzer-Analyse
‣ Durchspielen des Prozesses mit Fragestellungen ‣ Welches Ziel soll erreicht werden? ‣ Was soll die nächste korrekte Aktion sein? ‣ Wie wird die nächste korrekte Aktion ausgeführt? ‣ Was bedeutet das Feedback des Systems?
‣ Resultate ‣ Analyse „Gulf of Execution/Evaluation“ ‣ Liste von Problemen mit potentiellen Lösungsansätzen
Prof. Dr. Detlef Krömker Institut für Informatik
14 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Mögliche Probleme bei Experten-Reviews
‣ Experte kennt zwar die Anwendung, aber besitzt kein adäquates Hintergrundwissen zum Aufgabengebiet und User Communities
‣ Selbst erfahrene Experten können große Schwierigkeiten haben sich vorzustellen, wie typische Anwender (insbesondere First Time Users) sich verhalten
‣ Kein Ersatz für Tests mit realen Benutzern: Verlässliche Antworten, wie Benutzer letztlich reagieren werden, liefern nur Usability Tests
‣ Anzahl der Experten?
Prof. Dr. Detlef Krömker Institut für Informatik
15 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability Testing und Labore
Prof. Dr. Detlef Krömker Institut für Informatik
16 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability-Tests ‣ Ziel
‣ Praxis: Fehler und Probleme feststellen ‣ Theorien: Bestätigung oder Falsifizierung
‣ Grundlage ‣ Usability-Labor ‣ Testpersonen: unvoreingenommene, motivierte Benutzer aus der
anvisierten Nutzergruppe ‣ Moderator ‣ Beobachter ‣ Typisch: 2 bis 4 Testzyklen mit je 3-5 Testpersonen ‣ 1-2 Stunden pro Testperson, max. 3 Tests pro Tag
Prof. Dr. Detlef Krömker Institut für Informatik
17 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability-Tests
Vorgehensweise ‣ Wohldefinierte Vorgehensweise (Vorbereitung,
Durchführung, Auswertung) ‣ Klare Rollenverteilung, Skript, Aufgabenstellung, Review-
Dokumente
Aspekte ‣ Es ist besser mit nur einem User zu testen, als überhaupt
nicht zu testen (Nielsen) ‣ Usability Testing mit 5 Usern offenbart bereits bis zu 70%
der größten Usability Probleme (Nielsen/Landauer 1993)
Prof. Dr. Detlef Krömker Institut für Informatik
18 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability-Labor: Typische Ausstattung ‣ Ausstattungsmerkmale
‣ Testraum und davon getrennter Kontrollraum zur Beobachtung der Versuche
‣ Rechner ‣ Audio- und Videoaufzeichnungs-
geräte ‣ Technologien zur Aufzeichnung
von Benutzerinteraktionen ‣ Z.B. Eyetracker zur
Blickverfolgung ‣ Auswertungssoftware ‣ Etc.
Prof. Dr. Detlef Krömker Institut für Informatik
19 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability Testing und Labore
Videoaufzeichnung des Tests oft sehr wertvoll ‣ Erleichterung späterer Auswertung und Reviews ‣ Präsentation der Probleme für Gestalter und Manager
Verschiedene Varianten von Usability Tests ‣ Paper Mockups ‣ Discount Usability Testing ‣ Competitive Usability Testing ‣ Universal Usability testing ‣ Feldtests und portable Labore ‣ Remote Usability Testing ‣ Can-you-break-this Tests
Prof. Dr. Detlef Krömker Institut für Informatik
20 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Usability-Tests ‣ Teilnehmende Testpersonen: Freiwillige
‣ Grundlage für Tests: Einverständniserklärung der Testpersonen
‣ Beispiel einer Einverständniserklärung „Ich habe mich freiwillig bereit erklärt an diesem Experiment teilzunehmen. Ich wurde darüber vorab informiert, was meine Aufgaben sind und wie der
Ablauf sein wird.. Ich hatte Gelegenheit Fragen zu stellen und diese wurden zu meiner
Zufriedenheit beantwortet. Mir ist bewusst, das ich den Ablauf jederzeit ohne Angabe von Gründen
abbrechen kann. Dies bescheinige ich vor Durchführung der Tests durch meine Unterschrift.“ .
Prof. Dr. Detlef Krömker Institut für Informatik
21 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Anwenderbefragungen (I)
‣ Anwenderbefragungen (Surveys) ‣ Schriftliche Befragungen als preiswerte und nützliche Ergänzung
zu Experten-Reviews und Usability Tests
‣ Voraussetzungen für erfolgreiche Anwenderbefragungen ‣ Klar definierte Ziele vor der Durchführung ‣ Entwicklung unterstützender, fokussierender Elemente
‣ Vorgehensweise ‣ (Papier-) Fragebogen ‣ Online-Surveys
Prof. Dr. Detlef Krömker Institut für Informatik
22 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Anwenderbefragungen (II) ‣ Mögliche Ziele einer Anwenderbefragung
‣ Verifizierung der Annahmen über Benutzergruppe ‣ Anwenderhintergrund (Alter, Geschlecht, Ausbildung, Einkommen,
etc.) ‣ Erfahrungsstand (Systeme, Anwendungen, Zeitraum, Tiefe,
Anwendungsfeatures) ‣ Job: Position und Aufgaben (Entscheidungsprozesse, Anteil
organisatorischer Arbeiten, Motivation) ‣ Persönlichkeitsbild (introvertiert vs. extrovertiert, Risikobereitschaft,
Early vs. Late Adopter, Systematisch vs. Opportunistisch) ‣ Ggf. Gründe für Nicht-Nutzung von Informationstechnologien
‣ Bewertung des User-Interfaces (Repräsentationsformen für Objekte und Aktionen, Syntax, allgemeines Design, Zufriedenheit)
Prof. Dr. Detlef Krömker Institut für Informatik
23 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Anwenderbefragungen (III)
Aspekte der Fragebogengestaltung ‣ Grundanforderung: Standardisierung ‣ Sprachliche Gestaltung: einfach, verständlich ‣ Frageformen ‣ Offen (Vorteil: mehr Antwortmöglichkeiten) ‣ Geschlossen (Vorteil: Einfacher auszuwerten) ‣ Positiv vs. Negativ: positive Antworten werden allgemein
bevorzugt ‣ Bewertungsskalen: gerade vs. Ungerader Anzahl von
Bewertungsalternativen ‣ Harte vs. Weiche Antwortalternativen
‣ Zeitaufwand zur Beantwortung
Prof. Dr. Detlef Krömker Institut für Informatik
24 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Akzeptanz-Tests (I)
‣ Akzeptanz-Test (Acceptance Tests) ‣ Vorgehensweise
‣ (Formale) Überprüfung der laut Pflichtenheft vorgegebene Ziele ‣ Beispiel: Time-to-Learn, Durchlaufzeiten, Szenarien,
Fehlerrate, Subjektive Zufriedenheit der Nutzer ‣ Nicht: User Friendliness (Benutzerfreundlichkeit)….!!!
‣ Projekt-/Produkt-Abnahme nur bei Einhaltung der Vorgaben ‣ Formale Integration in Entwicklungsprozess
‣ Vorteile ‣ Klar messbare Ziele ‣ Integration in den Entwicklungsprozess
Prof. Dr. Detlef Krömker Institut für Informatik
25 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Akzeptanz-Tests (II)
‣ Akzeptanz-Tests in der Praxis ‣ Bei großen Systemen typischerweise jeweils 8-10 Tests an
verschiedenen Komponenten der Benutzungsschnittstelle und mit unterschiedlichen Benutzergruppen
‣ Feldtests nach erfolgreichem Akzeptanz-Test und vor nationaler oder internationaler Auslieferung
Prof. Dr. Detlef Krömker Institut für Informatik
26 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (I) ‣ Evaluierung während der Nutzung - Kontinuierliche Bewertung ‣ Gründe
‣ Viele Probleme zeigen sich erst in der Anwendung ‣ Speziell: selten verwendete, aber kritische Funktionen (z.B. Backup,
Recovery) ‣ Anwendungsszenario kann sich ändern ‣ Anforderungen der User können sich ändern
‣ Perfektion kaum zu erreichen, aber prozentuelle Verbesserungen möglich ‣ Formen
‣ Interviews und Fokusgruppen-Diskussionen ‣ User Performance Data Logging ‣ Konsultationen (Online, Telephon) ‣ Online Suggestion Boxes und Email Trouble Reporting ‣ Online-Diskussionsgruppen und Email-Foren
Prof. Dr. Detlef Krömker Institut für Informatik
27 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (II)
‣ Interviews und Fokusgruppen-Diskussionen ‣ Interview bzw. Diskussionsgruppen-Treffen mit ausgewählten
Anwendern ‣ Vorteile
‣ Interviewer bzw. Moderator kann gezielt nach spezifischen Aspekten fragen
‣ Gruppendiskussionen können den allgemeinen Wert einzelner Aussagen sicherstellen
Prof. Dr. Detlef Krömker Institut für Informatik
28 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (III)
‣ Continuous User-performance Data Logging ‣ Vorgehensweise
‣ Sammeln von Daten über die Nutzung mit dem Anwendungssystem, z.B. ‣ Anwendungsmuster (Patterns of Usage) ‣ Speed of User Performance ‣ Fehlerrate ‣ Häufigkeit des Bedarfs an Unterstützung (Hilfe, Trouble Desk)
‣ Vorteile ‣ Umfangreiche, objektive Daten
‣ Problem ‣ Unspezifisch: Was ist ein Problemfall? Was war ein Fehlerfall?
Prof. Dr. Detlef Krömker Institut für Informatik
29 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (IV) ‣ Online- oder Telefon-Konsultationen
‣ Vorgehensweise ‣ Nutzung von Informationen spezifischer Nutzungs-Probleme aus
Konsultationen und Online-Hilfe ‣ In manchen Systemen auch: Monitoring von Anwendermonitoren
durch Consultants
‣ Vorteile ‣ Spezifische Informationen über Problemfälle
‣ Problem ‣ Aufwand
Prof. Dr. Detlef Krömker Institut für Informatik
30 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (IV) ‣ Online Suggestion Box und Email Trouble Reporting
‣ Elektronische Mail mit Schilderungen von Problemen an Systemadminstratoren, Entwickler oder Gestalter
‣ Vorteile ‣ Spezifische Problemberichte
‣ Problem ‣ Für manche Anwender ist diese Art des Feedbacks bereits zuviel
Arbeit
Prof. Dr. Detlef Krömker Institut für Informatik
31 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Evaluierung während der Nutzung (V) ‣ Diskussiongruppen und Newsgroups ‣ Vorgehensweise
‣ Installation von Diskussiongruppen und Newsgroups zur Diskussion der Nutzung von Anwendungen ‣ Z.B. auch in unabhängiger Form über America Online and
Yahoo! ‣ Permit postings of open messages and questions ‣ Topic List ‣ Z.T. moderiert
‣ Vorteile ‣ Soziales System, das auch verschiedene andere Vorteile mit sich
bringt ‣ Ermutigung zum Posting von Kommentaren und
Verbesserungsvorschlägen
Prof. Dr. Detlef Krömker Institut für Informatik
32 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Subjektive Tests Kontrollierte, psychologisch orientierte Experimente ‣ Ziel: Präzise Modelle und Maße für Aspekte der Nutzung einer
Benutzungsschnittstelle
‣ Vorgehensweise ‣ Analyse der praktischen Problems und des theoretischen Hintergrunds ‣ Formulierung einer klaren und testbaren Hypothese ‣ Identifizierung einer kleinen Anzahl unabhängiger Variablen, die verändert
werden sollen ‣ Sorgfältige Wahl der abhängigen Variablen, die gemessen werden sollen ‣ Überprüfung der Versuchsanordnung in Vortests ‣ Auswahl der Testpersonen und zufällige Zuweisung zu Gruppen ‣ Beachtung verfälschender Faktoren (Nicht-repräsentative Auswahl von
Testpersonen oder Aufgaben, inkosistente Testdurchführung ‣ Statistische Auswertung ‣ Lösung des praktischen Problems, Verfeinerung der Theorie, Hinweise für
andere Forscher und Entwickler
Prof. Dr. Detlef Krömker Institut für Informatik
33 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing
Fragen - Diskussion
Hier wird Wissen Wirklichkeit
Schluss
Und vielen Dank.