Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ......
Transcript of Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ......
![Page 1: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/1.jpg)
Evaluering vol. 1Plenum IN1050 Uke 11
Maria og Helle
![Page 2: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/2.jpg)
Hva skjer i dag?
EVALUERING- Hva og hvorfor- Viktige begreper
TILNÆRMINGER OG TILHØRENDE METODER- Kontrollerte omgivelser- Naturlige omgivelser- Uten brukere
![Page 3: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/3.jpg)
![Page 4: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/4.jpg)
EVALUERING
![Page 5: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/5.jpg)
Aktivitet
![Page 6: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/6.jpg)
EVALUERING
Hvorfor?- Evaluering er en av de mest sentrale aktivitetene i UCD. - Dersom man ikke evaluerer, hvordan skal man ellers vite at man har
laget et system brukeren vil ha (validere), og at man har laget det slik brukeren vil ha det (verifisere)?
- Evaluering er også datainnsamling, men har et annet fokus: å på en eller annen måte undersøke et konsept eller en prototypes egnethet/kvalitet.
![Page 7: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/7.jpg)
EVALUERING
Hvordan?- Når man velger metode for evaluering bør man begynne med å svare
på disse spørsmålene: - Hva ønsker jeg å finne ut om systemet? - Hvilken metode gir meg den dataen jeg er ute etter? - Hvilken metode vil gi meg svar på mine spørsmål?
![Page 8: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/8.jpg)
EVALUERING
Ting å tenke påHva vil man finne ut av?
- Bestemme konsept?- Store eller små designvalg?- Finne designproblemer?- Brukbarhet eller brukeropplevelser?
Hvordan skal man finne ut av det?- Vise skisser/storyboards til brukere?- Teste interaktiv prototype med brukere i lab?- Bruke eksperter innen HCI eller domenet?- Teste prototype i naturlig miljø?
Praktiske ting- Hvor, når, hvem, metrikker, måling, utstyr?
![Page 9: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/9.jpg)
EVALUERING
Formativ vs. summativFormativ
- Utføres tidlig i prosessen, ofte med lavoppløselige prototyper- Store endringer kan skje raskt- Eksempel: evaluere ulike konsept eller hvilket ikon man skal bruke
Summativ- Utføres senere i prosessen hvor mer detaljert designvalg er tatt- Måle påvirkningen systemet/designvalget har på brukergruppe- Eksempel: evaluere hvor effektiv en funksjon er
![Page 10: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/10.jpg)
TILNÆRMINGER
![Page 11: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/11.jpg)
EVALUERING
Tilnærminger→ Naturlige omgivelser
→ Kontrollerte omgivelser→ Uten brukere (analytisk evaluering)
![Page 12: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/12.jpg)
EVALUERING
Naturlige omgivelser
![Page 13: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/13.jpg)
EVALUERING
Kontrollerte omgivelser
![Page 15: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/15.jpg)
EVALUERING - KONTROLLERTE OMGIVELSER
Brukbarhetstesting- Når vi brukbarhetstester, tester vi opp mot brukbarhetsmål:
- Effektivitet: hvor godt vi klarer å løse oppgaver (effectiveness)
- Flittighet: hvor raskt vi klarer å løse oppgaver (efficiency)
- Tilfredshet: hvor tilfreds vi er med å løse oppgaver (satisfaction)
- Lærbarhet: hvor lett kan vi lære oss å løse oppgaver (learnability)
- Memorerbarhet: hvor mye som huskes hvis vi etter stund skal løse de
samme oppgavene (memorability)
![Page 16: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/16.jpg)
EVALUERING - KONTROLLERTE OMGIVELSER
Brukbarhetstesting- Det er også viktig å tenke ut hvilke metrikker du ønsker å måle:
- Tid (feks. på én oppgave, effektivitet)
- Fullføringsrate (oppgavesuksess)
- Antall feil
- Antall forsøk
- Lærbarhet (hvordan forbedres feil og effektivitet over tid)
Metrics is a system or standard of measurement.
![Page 17: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/17.jpg)
EVALUERING
Uten brukere
![Page 18: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/18.jpg)
EVALUERING - UTEN BRUKER
Heuristisk evaluering- Heuristikk: bygger på (nedfelte) erfaringer og prinsipper- Designere og domeneeksperter er evaluatorene- Plukker ut heuristikker man skal se etter
- Eksempelvis: 10 usability Heuristics for User Interface Design- Nielsen: kan avdekke opptil 80% ved 3 - 5 deltakere
![Page 19: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/19.jpg)
https://www.nngroup.com/articles/ten-usability-heuristics/
![Page 20: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/20.jpg)
EVALUERING - UTEN BRUKERE
Cognitive walkthrough - Designet evalueres av eksperter - Fokus på om designet støtter brukeren i oppgaveløsning - Bruker psykologiske prinsipper
- For hvert steg: - Hvilken påvirkning vil interaksjonen ha? - Hvilke kognitive prosesser kreves fra brukeren? - Hvilke læringsproblemer kan oppstå?
![Page 21: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/21.jpg)
“MIN ONKEL BLE FRISK AV KIROPRAKTIKK”
![Page 22: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/22.jpg)
Kiropraktorbehandling
Ny sengNy pute
Tid
Trening
Stress
Mat
Vær
Ferie
Nye sko
![Page 23: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/23.jpg)
EVALUERING
Metoder og teknikker for evaluering
Kontrollerte omgivelser Naturlige omgivelser Uten brukere
- Observasjon- A/B-testing- Presentere
storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting
- Feltstudier (etnografiske metoder)
- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry
- Cognitive walkthrough- Heuristisk evaluering- Modellering
![Page 24: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/24.jpg)
EVALUERING
Metoder og teknikker for evaluering
Kontrollerte omgivelser Naturlige omgivelser Uten brukere
- Observasjon- Presentere
storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting
- Feltstudier (etnografiske metoder)
- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry
- Ekspertevaluering- Cognitive walkthrough- Heuristisk evaluering- Modellering
Tilnærming
Metode Teknikk
![Page 25: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/25.jpg)
PRAKTISK OPPGAVE
![Page 26: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/26.jpg)
Praktisk oppgave
Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.
Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
![Page 27: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/27.jpg)
Praktisk oppgave
Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.
Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
![Page 28: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/28.jpg)
EVALUERING
EksamensoppgaverDefinisjonsteori
- Hva er de tre hovedtilnærmingene til evaluering?- Gi et eksempel på en måte å gjøre indirekte observasjon.- Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)?
OBS! Kommer neste uke
Begrepsteori- Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser?- I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan
være og gi eksempler på metoder eller teknikker man kan bruke.- Hva vil du si er fordelen med en ekspert- (analytisk) evaluering?- Har du noen eksempler på evalueringsformer hvor observasjon kan inngå? Hvorfor tror du observasjon kan være et
nyttig verktøy her?- Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing?
Diskusjonsoppgaver- Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?
![Page 29: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/29.jpg)
OBLIG 4
![Page 30: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/30.jpg)
Spørsmål?
![Page 31: Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ... storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske](https://reader034.fdocument.pub/reader034/viewer/2022042605/5f47fb06f1e8a326c343030e/html5/thumbnails/31.jpg)
Takk for i dag Neste uke: Evaluering vol. 2
Lurer du på noe? Send oss en mail!Maria: [email protected]: [email protected]