Management of Information Systems - Aalborg …Under analysen er der behov for at kunne-Se...
Transcript of Management of Information Systems - Aalborg …Under analysen er der behov for at kunne-Se...
Design og evaluering af brugergrænseflader
Usabilityevaluering
Jan Stage
HCI-LabInstitut for Datalogi
Design og evaluering af brugergrænseflader 2
Oversigt08.15-10.00 1. Usabilityevaluering
2. Tænke-højt teknikken
10.00-10.45 3. Demonstration og øvelse i Usabilitylaboratoriet
10.45-12.00 4. Erfaringer med usabilityevaluering af IBM'selektroniske patientjournal (IPJ-systemet)
5. Heuristisk inspektion og andre teknikker
Design og evaluering af brugergrænseflader 3
1. Usabilityevaluering• Nordjyllands amt overvejer at
stille eksplicitte krav til brugbarhed og brugbarheds-evaluering i udbudsmaterialet for det kommende EPJ-system
• Hvorfor er der så stærkt (og stigende) fokus på brugbarhed?
• Forskellige tendenser:- Risiko, stadig flere systemer, som
påvirker eller involverer menneskers helbred
- Rationalisering, systemerne har stadig flere (interne) brugere
- Nødvendighed, systemer uden direkte mulighed for hjælp
- Konkurrence, systemer i direkte konkurrence med andre systemer
I alle disse tilfælde skal fejl i brugen af systemet undgås
• De forskellige typer af systemer udvikles:- Antallet og typen af brugere- Brugssituationen og –formålet- Kompleksiteten af hardware og
software
• Generelt har brugere svært ved at interagere med mange typer af IT-systemer
• Undersøgelser viser f.eks. at brugere har svært ved at gennemføre selv enkle handler eller lignende transaktioner på web-steder
Design og evaluering af brugergrænseflader 4
Et simpelt eksempel• Opgave:
Brug Air New Zealands web-sted til at booke en flybillet fra Auckland til Aalborg
Design og evaluering af brugergrænseflader 5
Startsiden• First page: the menu is
too long (cosmetic)• First page: buttons are
not clearly related to choices (serious)
• First page: the menu is too long (cosmetic)
• First page: buttons are not clearly related to choices (serious)
Design og evaluering af brugergrænseflader 6
• Apparently, the problem has been experienced before
• The solution to the problem is not elegant but acceptable
• Apparently, the problem has been experienced before
• The solution to the problem is not elegant but acceptable
Design og evaluering af brugergrænseflader 7
• International bookings: the tabular design relates unrelated items (cosmetic)
• International bookings: the search button is difficult to find and the label is confusing (serious)
• International bookings: the tabular design relates unrelated items (cosmetic)
• International bookings: the search button is difficult to find and the label is confusing (serious)
Design og evaluering af brugergrænseflader 8
Design og evaluering af brugergrænseflader 9
• General: there is no help to orientation and navigation (serious)
• General: there is no help to orientation and navigation (serious)
• Output: the text at the top comes up first and is experienced as the only output, because it takes several seconds before the lower part appears (cosmetic)
• Output: there is no indication of the way in which the user can proceed (critical)
• Output: the text at the top comes up first and is experienced as the only output, because it takes several seconds before the lower part appears (cosmetic)
• Output: there is no indication of the way in which the user can proceed (critical)
Design og evaluering af brugergrænseflader 10
Formål med brugbarhedsevaluering• Hvem deltager i en brugbarhedsevaluering, og hvad er
formålet?• Formålet med en brugbarhedsevaluering er at undgå
problemer som dem, eksemplet viste• Ordet brugbarhedsevaluering eller -test bruges ofte ukritisk
om enhver metode, der bruges til evaluering af et produkt eller system
• Definition (Rubin):- En proces baseret på deltagere, der repræsenterer målgruppen,
hvor det evalueres i hvilket omfang et produkt opfylder specifikke brugbarhedskriterier
- Udelukker ekspertbaserede testformer såsom gennemgang (cognitive walkthrough) og heuristisk inspektion
• Kræver en definition af/et sæt kriterier for brugbarhed (hvad) samt fastlæggelse af hvornår, hvordan og hvor
Design og evaluering af brugergrænseflader 11
Hvad er brugbarhed?• Kaldes også brugervenlighed• Hvordan kan vi definere det?• Mål for brugbarhed:
- Indlæring: let at lære at bruge (tid)
- Huskbart: let at huske at bruge (tid)
- Effektivitet: hurtigt og problemfrit at bruge(tid og fejlrate)
- Tilfredshed: tilfredsstillende at bruge (glæde – subjektivt)
Kombineres til et samlet mål• Vanskeligt at bruge i praksis –
f.eks. Unix eller et CAD-system
• Et andet mål for brugbarhed:Fravær af problemer:kritisk - alvorligt - kosmetisk
• Kritisk problem- Brugeren er ude af stand til at
fortsætte sit arbejde uden at få hjælp af en anden person.
- Brugeren føler, at systemets opførsel er stærkt irriterende eller irrationel.
- Der er en kritisk forskel mellem det, brugeren tror, at systemet gør, og det, systemet rent faktisk gør.
• Virker godt i praksis som kriterium for brugbarhed – et bud på ”hvad”
Design og evaluering af brugergrænseflader 12
Hvornår skal evalueringen foregå? 1.
User and UsageNeeds Analysis
2.Specification ofRequirements
3.Preliminary
Design
4.DetailedDesign
5.Product
Build
6.ProductRelease
ComparisonTest
ExploratoryTest
AssessmentTest
ValidationTest
Design og evaluering af brugergrænseflader 13
BrugbarhedsevalueringVi har nu set på:• Hvad: definition af brugbarhed• Hvornår: placering i udviklingsprocessenVi mangler stadig:• Hvordan• Hvor
Design og evaluering af brugergrænseflader 14
2. Tænke-højt teknikken• Tænke-højt er egentlig en teknik til en afgrænset aktivitet i
en brugbarhedsevaluering (selve testen)• Grundbegreber: test, evaluering, metode, teknik• Men betegnelsen bruges også meget bredere om en metode
eller tilgang til brugbarhedsevaluering• Rubins metode er baseret på denne bredere brug af ordet• Metoden giver et bud på ”hvordan”
Design og evaluering af brugergrænseflader 15
Rubins metode:Aktiviteter i brugbarhedsevaluering
• When in development process:• Exploratory• Assessment• Validation• Comparison
• Location and equipment• Participants and roles
Determine basicsTest report:
• Purpose• Key questions• User profile• Test method• Task list• Context and
equipment• Test monitor role• Data to be collected• Report structure
Planprocess
• Recreation of context• Selection of test subjects• Design of tasks
Create test situation
• Introduction• Task solving• Data collection• Logging• Debriefing
Conducttest
• Transcription of log files• Data summary• Data analysis• Documentation (report)
Interpretdata
Design og evaluering af brugergrænseflader 16
Tænke-højt som teknik i testen• Forsøgspersonen er en bruger,
der anvender systemet i arbejdet med en række opgaver
• Opgaverne er realistiske i brugssammenhængen
• Brugeren "tænker højt" imens: udtrykker sine intentioner, forventninger, oplevelser og forståelse
• En forsøgsleder observerer • Forsøgslederen hjælper, når
forsøgspersonen er gået i stå• Forsøgslederen minder
forsøgspersonen om at tænke højt
Design og evaluering af brugergrænseflader 17
• Testlederens adfærd- vær upartisk- pas på kropssprog og
ytringer- tænk på hver forsøgsperson
som et individ- stil spørgsmål i stedet for at
give svar• Relation til forsøgsperson
- lad være med at redde dem- vær sikker på at opgaven er
afsluttet
• Testlederens adfærd- vær upartisk- pas på kropssprog og
ytringer- tænk på hver forsøgsperson
som et individ- stil spørgsmål i stedet for at
give svar• Relation til forsøgsperson
- lad være med at redde dem- vær sikker på at opgaven er
afsluttet
ForsøgslederVæsentlige egenskaber:• Sold viden om usability engineering• Hurtig til at lære• Kan etablere sympatisk forhold• God hukommelse• God lytter• Kan håndtere usikkerhed• Fleksibel og i stand til at
improvisere• Kan være opmærksom i lang tid• Indlevende – i stand til at åbne
andre personer• Tænker i store linier• God til at kommunikere• God til at organisere
Typiske problemer• Styrer i stedet for at støtte• Bruger for meget
opmærksomhed på dataindsamling
• Virker bedrevidende• Styrer slavisk efter testplanen• Etablerer ikke gode relationer til
deltagerne• Drager for hurtige konlusioner
Typiske problemer• Styrer i stedet for at støtte• Bruger for meget
opmærksomhed på dataindsamling
• Virker bedrevidende• Styrer slavisk efter testplanen• Etablerer ikke gode relationer til
deltagerne• Drager for hurtige konlusioner
Design og evaluering af brugergrænseflader 18
Forsøgspersoner (brugere)• Mål 1: svarer til brugergruppen
- Demografi- Erfaring
• Mål 2: giver grundlag for holdbare konklusioner- Mange brugere giver grundlag for kvantitative udsagn. F.eks.
54,5% af de uerfarne brugere kunne løse en simpel opgave ved hjælp af systemet
- Få brugere giver grundlag for kvalitative udsagn. F.eks. flere af brugerne havde svært ved at forstå og skelne mellem de grundlæggende begreber
• Andre studerende kan være problematisk- Motivation- Demografi og erfaring
Design og evaluering af brugergrænseflader 19
Opgaver• Udspringer af opgavelisten i
testplanen• Repræsenterer virkeligt arbejde
med systemet:- Beskriver slutresultat- Motiverer opgaverne (hvorfor de skal
løses)- Indeholder aktuelle data og navne- Beskriver systemets tilstand ved
starten af arbejdet- Samler mindre delopgaver i
meningsfulde helheder
• Overvejelser:- Forskellige rækkefølge mellem
forsøgspersoner- Læs op eller læs selv- Hvor meget ad gangen
Typiske problemer• Vage og uklare• Overordnede og
generelle• Giver for meget hjælp• Indeholder jargon
som ikke er brugernes• Tvinger brugeren ind i
et bestemt forløb• Kommer i atypisk
rækkefølge
Typiske problemer• Vage og uklare• Overordnede og
generelle• Giver for meget hjælp• Indeholder jargon
som ikke er brugernes• Tvinger brugeren ind i
et bestemt forløb• Kommer i atypisk
rækkefølge
Design og evaluering af brugergrænseflader 20
Dataopsamling: Hvor• Tænke-højt teknikken stiller store krav til dataopsamling• Under analysen er der behov for at kunne
- Se skærmbilledet- Se og høre forsøgspersonens handlinger- Se forsøgspersonens ansigtsudtryk og kropssprog- Høre hvad forsøgspersonen siger
• Et usabilitylaboratorium er et effektivt instrument til indsamling af disse data i en meget høj kvalitet
• Laboratoriet er altså et svar på spørgsmålet om ”hvor”
Design og evaluering af brugergrænseflader 21
Usabilitylaboratorium
Subject Room 1
Subject Room 2
Control Room
curtain
operator
• Etableret 2000-2001- Februar 2000: fase 1 - etablering af
første laboratorium- Ultimo 2000: fase 2 - udbygning og
komplettering- Januar 2001: fase 3 - flytning til anden
bygning og redesign
• Til undervisning, forskning og samarbejde med virksomheder
• Sponsorer:- Nokia- Siemens- Institut for Datalogi- Det Teknisk-Naturvidenskabelige fakultet
• Evalueringer:- Administrative systemer- Web-baserede systemer- Multimediesystemer og spil- Mobiltelefoner- Andre mobile apparater- Samarbejdssystemer
Design og evaluering af brugergrænseflader 22
Laboratorium: Udstyr• 4 motoriserede
kameraer• Scanconverter til
optagelse af skærmen• Kontrolboks til
kameraer• Mixer• Elektronisk krydsfelt• To mikrofoner
(rummikrofon og knaphålsmikrofon)
• Bånd (Media100 og VHS)
Design og evaluering af brugergrænseflader 23
Laboratorium: Roller• Personer i
anvendelsesområdet • Forsøgsleder • Bruger
• Logger• Videooperatør
• Produktekspert• Observatører
Subject Room 1
Subject Room 2
Control Room
curtain
operator
Design og evaluering af brugergrænseflader 24
Bearbejdning af data• Formål: at sikre datamaterialet, så det også kan bruges
efter et stykke tid• Opgaver:
- Skriv notater rent og udbyg med forklaring (mens det huskes)- Lav oversigt over forløbet for hver forsøgsperson (tabel eller
regneark) – kaldes også en logfil
• Gør det allerede mens der testes eller efter hver dags testning – fordi:- Giver os mulighed for at begynde at se mønstre- Overblik og check på, at vi ikke har glemt noget- Hurtigere i gang med analysearbejdet
Design og evaluering af brugergrænseflader 25
Logfil• Sammenhæng mellem: Opgave – Tid – Hændelse med forklaring
• Eventuelt søjle med angrebsvinkel: læser opgave, orienterer sig,navigerer, besvarer opgave, osv.
• Logning på computer løbende: giver en kladde til logfilen• Relation til problemliste tilføjes senere
Design og evaluering af brugergrænseflader 26
28:50 Opgave 2, spørgsmål 1Begynder at løse opgaven med det samme men ser ikke, at hun er inde i den forkerte patient.
Går tilbage til belægningslisten ved at trykke F7 og vælger den rigtige patient. Hun er usikker på hvordan værdier skal indtastes. Hun dobbeltklikker på værdierne til venstre påskærmbilledet, men dette giver kun historik.
Trykker på skriv-knappen men finder ud af, at det er forkert og går tilbage. Prøver med drop-down menuen og kigger pålister. Hun kan ikke huske, hvordan hun får indrapporteret værdierne. Prøver at fjerne delvinduet om medicin. Hun ved, at det er det rigtige billede hun er inde i. Hun har meget svært ved at gennemskue hvilke muligheder hun har, og hvilke hun allerede har brugt. FL spørger om der noget som hun ikke har trykket på.
P14
P4
P31
33:28 Trykker tilfældigt på den rigtige knap (Rapport), og er med det samme klar over, at det er det rigtige.
P19
Design og evaluering af brugergrænseflader 27
Analyse af data• Identificer overraskende
resultater – for eksempel:- En opgave tager meget længere
tid at løse end andre opgaver- En bruger tager meget længere
tid end andre brugere for at løse en opgave
- Kig efter forskelle og ligheder mellem opgaver, brugere, systemer osv.
• Identificer steder, hvor brugere laver fejl, hvor de skifter angrebsvinkel, osv.
• Find årsagen til, at der bruges længere tid eller laves fejl –oftest vanskeligt og tidskrævende
• Prioritering af problemer:- kritisk – alvorligt – kosmetisk
• Samles i en problemliste og en oversigt over tidsforbrug
Design og evaluering af brugergrænseflader 28
3. Demonstration og øvelse i laboratoriet
Subject Room 1
Subject Room 2
Control Room
curtain
operator
• Øvelse: vi skal lave en test i laboratoriet
• Brug for:- Forsøgsleder- Forsøgsperson
de to går ind i testrum 1• Resten opholder sig i
kontrolrum og testrum 2
Design og evaluering af brugergrænseflader 29
Diskussion: Fordele og ulemper ved tænke-højt forsøg• Hvad er fordele og ulemper?• Fordele:
- Giver “meget stærk oplevelse”- Ret præcis problempåpegning- Giver indtryk af brugerens
“mentale model”- Kan gennemføres tidligt i
projektet• Ulemper:
- Unaturlig situation- Forsøgslederrolle meget svær- Omfattende analysearbejde- Fokus på “novice-brugere”- Etiske aspekter:
• Designere påvirkes meget stærkt• Det er en meget stresset situation• Hvem og hvad testes ??• Hvem skal have adgang til
oplysningerne/optagelserne?
Resultater:• Der påpeges mange typer af
problemer i brugergrænsefladerne:- layout- “dialog-gang”- dokumentation
• Ofte testes systemet på systemets (opgavernes) præmisser.
• ”Virkning” påpeges – ”Årsag” skal analysen afdække
• Brugerne (forsøgspersonerne) opfatter det som hårdt - men lærerigt og positivt
Design og evaluering af brugergrænseflader 30
Diskussion: Hvor skal evalueringen foregå?Relevance (virkelighed):• Evaluering i den situation og
sammenhæng, hvor teknologien skal anvendes
• Fokus på brug• Mange faktorer kan påvirke resultatet
Rigour (laboratorium):• Evaluering i et laboratorium fjernt fra
brugssituationen• Fokus på systemet eller apparatet• Styr på variable faktorer• Kunstig situation
Design og evaluering af brugergrænseflader 31
4. Usabilityevaluering af IPJ-systemet• IPJ 2.3: Elektronisk patientjournal udviklet af IBM Sverige• Implementeret på et antal (ca. 10) sygehuse i Norden
(blandt andet Frederikshavn-Skagen Sygehus)• Erstatning for den ”almindelige” papirbaserede
patientjournal• På Frederikshavn-Skagen Sygehus implementeres systemet
på en bærbar computer på et rullebord, som kan ”køres” med rundt på afdelingen
• Præsentation af metode og resultater fra vores første brugbarhedsevaluering
• Samtidig en øvelse i at identificere og kategorisere problemer - nok den vanskeligste aktivitet i en evaluering
Design og evaluering af brugergrænseflader 32
Brugere
16tBegynderErfaren2 år2 år31Kvinde
14tBegynderLet øvet3 mdr.7 år34Kvinde
15tBegynderLet øvet1½ år10 år36Kvinde
15tBegynderLet øvet½ år12 år37Kvinde
15tBegynderIngen1¾ år17 år41Kvinde
30tLet øvetLet øvet24 år24 år46Kvinde
28tLet øvetBegynder6 år25 år48Kvinde
15tBegynderLet øvet18 år31 år54 Kvinde
Modtagetundervis.
ErfaringIPJ
ErfaringIT
Erfaringafdeling
Erfaringsygeplejerske
AlderKøn
Design og evaluering af brugergrænseflader 33
Opgaver• Testpersonerne fik stillet 3 overordnede opgaver, som de
skulle løse ved hjælp af systemet• Opgaverne var lavet sammen med sygeplejersker
Design og evaluering af brugergrænseflader 34
Opgaver
Eksempel i det følgende
Opgave 1: Rapport
• Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2-ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende.
• Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt.
a) Placer disse to patienter på afdelingen.
b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov-Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed.
Opgave 3: Stuegang
• Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt.
a) Find de informationer som er relevante at skitsere for lægen.
• Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler)
b) Opret et nyt notat om den kommende pleje.
c) Tilføj relevante punkter på arbejdslisten
Opgave 2: Morgenrunde
• Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2
a) Indrapportér ovenstående værdier for Doris.
• Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris.
b) Angiv problem, mål og handling for den forhøjede temperatur.
Design og evaluering af brugergrænseflader 35
Kvantitative data: Tid for opgaveløsning
03:3007:4806:0507:5604:4710:0012:21Gennemsnit
53:5409:1807:0115:5712:5708:418
44:4514:4702:5311:3515:307
45:3005:4007:1506:5510:2015:206
36:3205:1209:5002:2505:5013:155
41:3503:1506:0007:1004:3002:4006:1511:454
37:4503:4508:0504:2006:1501:2508:1005:453
48:1504:4307:2303:5309:4022:362
39:0809:2606:3002:0515:1205:551
Samlet3.c3.b3.a2.b2.a1.b1.aTestperson
Opgave
4 problemer3 problemer
13 problemer3 problemer6 problemer6 problemer
13 problemer4 problemer
Den første testperson
Lys grå: opgave ikke løst helt, forsøgsleder hjalp meget eller forsøgsperson blev bedt om at gå videreSort: ikke arbejdet med opgaven
Design og evaluering af brugergrænseflader 36
Øvelse 1: Identificering• Videoklip med testperson 3 (0:17:05)• Hun løser opgave 2.b.• I dette klip skal I identificere de brugbarhedsproblemer, som
I mener testpersonen støder ind i• Opsamling og diskussion i plenum
Design og evaluering af brugergrænseflader 37
Logfil: Eksempel
Design og evaluering af brugergrænseflader 38
Identificerede brugbarhedsproblemer (1)• 13 brugbarhedsproblemer er identificeret i denne opgave (4 er
oplevet flere gange, f.eks. P10 og P22) – to eksempler:
• Problem #10. Betjening: er ikke sikker i brugen af enkeltklik ogdobbeltklik.Alle testpersonerne har problemer med at afgøre, hvornår de skal enkeltklikke, og hvornår de skal dobbeltklikke, og flere af dem oplever det mange gange i løbet af testen. Testpersonerne har problemer med dette blandt andet i belægningslisten, i menuerne i rullegardiner, i udfyldelsen af en plejeplan og i vinduet til registrering af måleværdier. Dette problem medfører nogle gange, at testpersonerne laver alvorlige fejl, fordi de uforvarende får valgt en person, som de så begynder at arbejde med, eller kommer ind i et vindue, som de ikke ved, hvorfor de endte i, og hvordan de kommer ud af. Problemet medfører også, at de har svært ved at åbne elementer i forskellige lister i systemet.
• Problem #11. Notattyper: kan ikke overskue listen med mulige notattyperVed udarbejdelse af nye notater oplever testpersonerne gentagne gange problemer med at vælge i listen med mulige notattyper. For det første er listen meget kort (kun fire typer synlige ad gangen). Det får en testperson til at tro, at der ikke er andre muligheder en de fire, og derfor vælger hun en daglige rapport, selv om det var en plejeplan hun ønskede. For det andet er listen ikke ordnet alfabetisk. Flere testpersoner kører flere gange frem og tilbage i listen, før de vælger, fordi de skal se alle elementer igennem for at vælge den rigtige. For det tredje er der mange notattyper, som ligner hinanden meget. Det gælder for eksempel for plejeplaner, hvor der er en del forskellige, hvad der gør det svært for testpersonerne at afgøre, hvilken der er den rigtige. (illustreret på næste slide)
Design og evaluering af brugergrænseflader 39
Problem 11 (Statusbilledet)
Design og evaluering af brugergrænseflader 40
Identificerede brugbarhedsproblemer (2)
Design og evaluering af brugergrænseflader 41
Notater• Journalnotaterne var kilden til
mange brugbarhedsproblemer
• Alle notater om en patient findes i listen i statusbilledet
• Skrivning af et notat startes ved at trykke på Skriv-knappen
• Derefter vælges notattype• Derefter kommer der et vindue
frem med alle elementer (termer)• Det samlede notat kan ses i et
separat vindue, men indholdet af dette kan ikke manipuleres direkte
• Hver term udfyldes i et separat vindue
• Når en term er afsluttet kommer den frem i notatet
Design og evaluering af brugergrænseflader 42
Eksempel på kritisk problem (P2): Inkonsistens
• De fleste sygeplejersker så ordineringen af morfin
• Ingen af dem så det røde obs-felt og den tilknyttede information
Design og evaluering af brugergrænseflader 43
Kategorisering af problemer:Fravær af problemer som mål• Kategorisering er
svært• Kritisk problem:
- Brugeren er ude af stand til at fortsætte sit arbejde uden at få hjælp af en anden person.
- Brugeren føler, at systemets opførsel er stærkt irriterende eller irrationel.
- Der er en kritisk forskel mellem det, brugeren tror, at systemets gør, og det, systemets rent faktisk gør.
• Alvorligt og kosmetisk er mildere grader af dette
Kritisk forskelStærkFuldstændigt(går i stå)Kritisk
Betydelig forskel
MiddelFlere minutter
Alvorligt
Mindre forskel
Lettere< 1 minutKosmetisk
Forventning vs. faktisk
Irritation/IrrationalitetForsinket
Design og evaluering af brugergrænseflader 44
Eksempel: Kategorisering af problemerVi har blandt andet identificeret følgende tre problemer i testen af IPJ. Kategoriser demefter alvor: kosmetisk, alvorlig og kritisk.
Problem #1:Testpersonerne kan som hovedregel godt anvende den information, de finder. Men de kan ikke se, om der er information, som de ikke finder og er derfor usikre på, om de har fundet al relevant information. Det fører til, at de har svært ved at få overblik over en enkelt patient.
Problem #2:Et par af testpersoner oplever, at systemet meddeler dem, at der er opdateret på patientlisten. Men da disse testpersoner ikke har foretaget nogle ændringer bliver de forvirrede, men begge trykker på OK for at være på den sikre side.
Problem #3:Næsten alle testpersoner laver fejl, fordi de ikke kan huske numrene på de funktionstaster, der kan bruges som genveje i systemet. Det gælder klart mellem de tre basale vinduer (belægningsliste, basisbillede og statusbillede), hvor testpersoner trykker en af de andre muligheder, når de vil over i et af disse vinduer. Testpersonerne har tilsyneladende svært ved at skabe og anvende en klar relation mellem koder og vinduer.
KosmetiskKritisk Alvorligt
Går i stå, kan ikke gennemføre opgaven Sinker brugeren i lidt
længere tid men forhindrer ikke gennemførelsen af opgaven
Bliver sinket i kortere tid, mindre kritisk forskel mellem forventning og handling
Design og evaluering af brugergrænseflader 45
OpgaverOpgave 1: Rapport
• Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2-ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende.
• Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt.
a) Placer disse to patienter på afdelingen.
b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov-Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed.
Opgave 3: Stuegang
• Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt.
a) Find de informationer som er relevante at skitsere for lægen.
• Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler)
b) Opret et nyt notat om den kommende pleje.
c) Tilføj relevante punkter på arbejdslisten
Opgave 2: Morgenrunde
• Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2
a) Indrapportér ovenstående værdier for Doris.
• Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris.
b) Angiv problem, mål og handling for den forhøjede temperatur.
Design og evaluering af brugergrænseflader 46
Øvelse 2• Videoklip med testperson 2 (1:10:19)• Hun løser opgave 1.a.• I dette klip skal I identificere og kategorisere de
brugbarhedsproblemer, som I mener testpersonen støder ind i
• Opsamling og diskussion i plenum
Design og evaluering af brugergrænseflader 47
Kategoriserede brugbarhedsproblemer
Design og evaluering af brugergrænseflader 48
Første evaluering: Samlede resultater• Testpersonerne brugte mellem
36 og 53 minutter på testen• Ingen af testpersonerne løste
alle opgaver (løste 2 til 6 spørgsmål ud af 7)
• En vis korrelation mellem erfaring og løste opgaver
• Oplevede meget stor belastning/frustration
• Ialt 75 brugbarhedsproblemer:- 9 var kritiske- 39 var alvorlige- 27 var kosmetiske
• Heraf blev 31 problemer ”kun” identificeret af én testperson
• Systemer fungerer godt- Belægningslisten giver et godt
overblik over patienterne- God fremvisning af data om den
enkelte patient
• Systemer fungerer godt- Belægningslisten giver et godt
overblik over patienterne- God fremvisning af data om den
enkelte patient
• Systemet fungerer mindre godt- Informationer om patienter er
fragmenterede- Svært at skabe overblik over
kommende arbejdsopgaver- Svært at forstå og gennemskue
systemets dele og sammenhænge
• Systemet fungerer mindre godt- Informationer om patienter er
fragmenterede- Svært at skabe overblik over
kommende arbejdsopgaver- Svært at forstå og gennemskue
systemets dele og sammenhænge
Design og evaluering af brugergrænseflader 49
Anden brugbarhedsevaluering• Første evaluering blev gennemført i maj måned 2002• Anden evaluering blev gennemført i august måned 2003• Samme system, samme opgaver, samme testpersoner (på
nær 1, som var rejst)• Den første evaluering foregik omkring det tidspunkt, hvor
systemet blev taget i brug. Det betød, at brugerne var novicer
• Den anden evaluering foregik efter et års brug. Nu var der altså tale om erfarne brugere
• Fokus på erfaring og effektivitet (i stedet for let at lære)- Hvilke problemer er forsvundet?- Nye problemtyper?- Subjektive holdninger?
Design og evaluering af brugergrænseflader 50
Anden evaluering: Samlede resultater• Testpersonerne brugte mellem 29
og 47 minutter på testen• 4 testpersonerne løste alle
opgaver (de andre 4 manglede 1 eller 2 spørgsmål)
• Meget mindre oplevelse af belastning/frustration
• Ialt 86 brugbarhedsproblemer:- 12 var kritiske- 38 var alvorlige- 36 var kosmetiske
• En række problemer er forsvundet, mens andre stadig opleves
• Mange af de problemer, som går igen, er ikke så alvorlige, fordi brugerne kan manøvrere uden om dem
• Væsentlige problemer i systemet forsvinder ikke med øget erfaring
• Systemet fungerer godt- Understøtter centrale dele af arbejdet,
specielt måleværdier og plejeplaner- Godt integreret i arbejdet med
patientpleje- Sygeplejerskerne har en
grundlæggende forståelse af systemets dele og deres brug i centrale arbejdsopgaver.
- Belægningslisten giver et fornuftigt overblik over patientbeholdningen
• Systemet fungerer godt- Understøtter centrale dele af arbejdet,
specielt måleværdier og plejeplaner- Godt integreret i arbejdet med
patientpleje- Sygeplejerskerne har en
grundlæggende forståelse af systemets dele og deres brug i centrale arbejdsopgaver.
- Belægningslisten giver et fornuftigt overblik over patientbeholdningen
• Systemet fungerer mindre godt- Svært at få overblik over den enkelte
patients tilstand – informationerne er meget fragmenterede
- Arbejdslisten er vanskelig at opdatere, giver uklare informationer og er svær at bruge i planlægningen af arbejdet
- Systemet lægger op til dobbeltregistrering og tillader en meget forskellig praksis med hensyn til placering af bestemte informationer. Det har medført en stor usikkerhed både i registrering og søgning af information
• Systemet fungerer mindre godt- Svært at få overblik over den enkelte
patients tilstand – informationerne er meget fragmenterede
- Arbejdslisten er vanskelig at opdatere, giver uklare informationer og er svær at bruge i planlægningen af arbejdet
- Systemet lægger op til dobbeltregistrering og tillader en meget forskellig praksis med hensyn til placering af bestemte informationer. Det har medført en stor usikkerhed både i registrering og søgning af information
Design og evaluering af brugergrænseflader 51
De vigtigste kritiske problemer
Design og evaluering af brugergrænseflader 52
Arbejdslisten• Arbejdslisten er kilden til
mange nye problemer• Den er baseret på et helt
andet design og en anden dialogform
• Informationer er ikke integreret med patient-informationerne
Design og evaluering af brugergrænseflader 53
5. Heuristisk inspektion og andre teknikker• Teknikker til brugbarhedstest: oversigt• Heuristisk inspektion• Øvelse i heuristisk inspektion• Heuristisk inspektion kontra tænke-højt
Design og evaluering af brugergrænseflader 54
Teknikker til brugbarhedstest
TilbagemeldingInterviewSpørgeskemaer
FokusgruppeObservationAnvendelsesstatistik
Brugerorganisation(felt)
Heuristisk inspektionKognitiv inspektion
Tænke-højtKonstruktiv interaktionLaboratorium
Udvikler kontrollererBruger kontrollerer
Andre dimensioner: Rigorisme (planlagt og styret forløb) RealismeKvalitativt Kvantitativt
Design og evaluering af brugergrænseflader 55
Heuristisk inspektionLaboratorium + Udviklerkontrol• Deltagerne gennemgår systemet ud fra
en checkliste• Scenarium med relevante opgaver kan
strukturere processen• Systemet gennemgås to gange:
1. Fokus på helhed og umiddelbare indtryk2. Fokus på detaljer såsom funktioner i
forhold til opgaver
• Deltagerne arbejder individuelt og noterer problemer
• I fællesskab udarbejdes en samlet liste• Problemerne kategoriseres eventuelt
(kritisk, alvorligt, kosmetisk)• Rettelsesforslag udarbejdes, prioriteres
og overdrages til udviklerne
Eksempel på checkliste:Enkel og naturlig dialogTal brugerens sprogMinimer krav til hukommelsenSørg for konsistensGiv feedbackLav tydelige udgangeLav genvejeGiv konstruktive fejlmeddelelserForebyg fejl
Eksempel på checkliste:Enkel og naturlig dialogTal brugerens sprogMinimer krav til hukommelsenSørg for konsistensGiv feedbackLav tydelige udgangeLav genvejeGiv konstruktive fejlmeddelelserForebyg fejl
Design og evaluering af brugergrænseflader 56
Øvelse (1)Antal inspektioner – Molich & Nielsens resultater:
1: ca. 35% af alle problemer findes3-5: ca. 70% af alle problemer findes
Denne påstand er meget omdiskuteret
Øvelse (fra Molich & Nielsen):Functionality: A service from Manhattan Telephone (MANTEL) to home users. Typical users have little knowledge of data processing. They can dial into the system, which will provide the name and address of a telephone subscriber in the United States, given the telephone number of the subscriber.Assumptions: For each telephone number there is at most one subscriber. All telephone numbers consist of exactly ten digits (3 digit area code and 7 digit local number). The user's computer has a traditional alphanumeric, monochrone display with 24 lines of 80 characters each and a typewriter-like keyboard with the usual extra keys found on most keyboards, including 10 function keys marked PF1-PF10.
Design og evaluering af brugergrænseflader 57
Øvelse (2)Dialogue: Enter by selecting "Computer Telephone Index" from the main MANTEL menu. The system then issues the prompt:
ENTER DESIREDTELEPHONE NO. ANDRETURN
If the user enters anything other than exactly 10 digits to this prompt, the system answers:
ILLEGAL NUMBER: TRY AGAIN
If the user enters a telephone number which is not in use, the system answers:
UNKNOWN TELEPHONE NUMBER
If the area code is 212 (Manhattan), the system will normally display the the screen shown within 5 seconds. For other area codes, the system must retrieve the necessary information from external databases. This may take up to 30 seconds.
Design og evaluering af brugergrænseflader 58
Øvelse (3)
Design og evaluering af brugergrænseflader 59
Øvelse (4)
Design og evaluering af brugergrænseflader 60
Øvelse (5)
Design og evaluering af brugergrænseflader 61
Øvelse (6)
Design og evaluering af brugergrænseflader 62
Øvelse (7)
Design og evaluering af brugergrænseflader 63
Tænke-højt kontra Heuristisk inspektion• www.hotmail.com• 8 laboratorier testede web-
stedet- Professionelle firmaer- Forskningsmiljøer- Studerende
• Testen skulle omfatte et antal specificerede funktioner
• Selve udførelsen kunne tilrettelægges frit
• Formålet var at undersøge kvaliteten af brugbarhedstest
• 1 af laboratorierne indgik ikke seriøst i undersøgelsen
• 6 af laboratorierne baserede deres evaluering på test medbrugere- De fandt mellem 17 og 75
problemer af forskellige kategorier
• 1 af laboratorierne baserede deres evaluering på enkombination af heuristisk inspektion og test medbrugere- De fandt 150 problemer- De beskrives tit med
formuleringen “might be a problem”
- 107 af deres problemer findes ikke af nogen af de andre
- De finder 19 ud af 26 “core problems” men uklart hvordan
Design og evaluering af brugergrænseflader 64
RESULTATER
Design og evaluering af brugergrænseflader 65
Tænke-højt versus inspektion
94491.9185.2
118681.7235.1
1601591.0404.0
0113
89129
913124
191837
4968159
Tænke-højt forsøg Gruppe-inspektion Individuel inspektion
Problemtyper (antal)
ProblemkategorierKategori 1 (antal)Kategori 2 (antal)Kategori 3 (antal)Ingen aktion (antal)
Unikke problemer for hver metode (antal)
Samlet tid (i timer)Problemtyper (antal)Tid/problemKategoriproblemerTid/SPA
(Karat, Campbell og Fiegel, Comparison of Empirical Testing and Walkthrough Methods in User Interface Evaluation, 1992)
Design og evaluering af brugergrænseflader 66
Publikationer (vores)Kjeldskov J. and Stage J. (2004) New Techniques for Usability Evaluation of Mobile Systems.
International Journal of Human-Computer Studies (forthcoming 2004)Kjeldskov J. and Stage J. (2003) Designing the Handheld Maritime Communicator. In Proceedings of the
1st Conference on Designing User Experiences, DUX 2003. San Francisco, CA, USA. ACM.Kjeldskov J. and Stage J. (2003) The Process of Developing a Mobile Device for Communication in a
Safety-Critical Domain. In Proceedings of the 9th IFIP TC13 International Conference on Human Computer Interaction, Interact 2003. Zürich, Switzerland. IOS Press
Kjeldskov J. and Skov M. B. (2003) Creating a Realistic Laboratory Setting: A Comparative Study of Three Think-Aloud Usability Evaluations of a Mobile System. In Proceedings of the 9th IFIP TC13 International Conference on Human Computer Interaction, Interact 2003. Zürich, Switzerland. IOS Press
Kjeldskov J. and Skov M. B. (2003) Evaluating the Usability of Mobile Systems: Exploring Different Laboratory Approaches. In Proceedings of 10th International Conference on Human-Computer Interaction 2003, Crete, Greece. Lawrence Erlbaum Associates
Kjeldskov J. and Skov M. B. (2003) Evaluating the Usability of a Mobile Collaborative System: Exploring Two Different Laboratory Approaches. In Proceedings of the 4th International Symposium on Collaborative Technologies and Systems 2003, Orlando, Florida. SCS press
Skov, Mikael B. & Jan Stage (2002). Evaluation of an Object-Oriented Modeling Method: Designing an Interactive Narrative Multimedia System. Computers & Graphics.
Skov, M. B. and Stage, J. (2003) Supporting Novices in Detecting Web Site Usability Problems: A Comparison of the Think-Aloud and Questionnaire Methods. Proceedings of the 10th Conference on Human-Computer Interaction. London: Lawrence-Erlbaum.
Skov, M. B. and Stage, J. (2003) Enhancing Usability Testing Skills of Novice Testers: A Longitudinal Study. Proceedings of the 2nd Conference on Universal Access in Computer-Human Interaction. London: Lawrence-Erlbaum.
Design og evaluering af brugergrænseflader 67
Publikationer (andre)Dix, A., Finlay, J., Abowd, G., og Beale, R. (1998). Human-Computer Interaction,
Prentice-HallKarat, C.-M., Campbell, R., and Fiegel, T. Comparison of Empirical Testing and
Walkthrough Methods in User Interface Evaluation. Proceedings of CHI ’92, ACM Press, 397-404.
Molich – CUE: http://www.dialogdesign.dk/cue.htmlMolich, R. (2000). Brugervenligt webdesign. Teknisk forlag.Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S. and Carey T. (1994). Human-
Computer Interaction. Addison-Wesley.Rubin, J. (1994). Handbook of Usability Testing. Wiley.Shneiderman, B. (1998). Designing the User Interface, 3rd ed. Addison-Wesley.Spool, J. M. m.fl. (1999). Web Site Usability. A Designer's Guide. Morgan Kaufmann.