Evaluering+ · Evaluere+ • Evaluere+eller+teste?++Hvaer+forskjellen?++ Likheter?+ •...
Transcript of Evaluering+ · Evaluere+ • Evaluere+eller+teste?++Hvaer+forskjellen?++ Likheter?+ •...
Evaluering
INF 1500; introduksjon 9l design, bruk og interaksjon 24 oktober 2011
Oversikt, kapi@el 12 og 13
• Hvorfor evaluering?
• Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen
• Gå igjennom sentrale begreper om evaluering
• Introdusere ulike metoder for evaluering
Eksempler
• Ternigkast 4
• Karakteren A
• Rapport fra undersøkelse
• X er bedre enn Y i forhold 9l g
Evaluere
• Evaluere eller teste? Hva er forskjellen? Likheter?
• Hvorfor evaluere? • Hvordan evaluere? • Hva skal evalueres? • Hvem skal gjøre evalueringen? • Hva beny@es data fra evalueringen 9l? • Evaluere i forhold 9l hva? Kriterier? Mål?
Evaluere • Etymologi; évalua9on, from évaluer "to find the value of," from é-‐ "out" (see ex-‐) + valuer (see value).
• Teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere…
• ”the proof of the pudding is in the ea9ng”
Hvorfor, hva, hvor og når skal vi evaluere?
• Itera9v utvikling; det betyr at evaluering og design er kon9nuerlige prosesser som undersøker – Hvorfor: for å undersøke om brukerne kan beny@e løsningen
– Hva: konseptmodell, 9dlige prototyper, endelige prototyper
– Hvor: i ”naturlige omgivelser” eller i laboratorium omgivelser
– Når: 9dlig i prosessen, sent i prosessen, og alt imellom;)
Bruce Tognazzini – om ”hvorfor evaluere”
• Itera9v design, med repe9sjon av design og tes9ng, er den eneste måten å forsikre seg om gode resultater. Dersom du ikke har bruker tes9ng som en integrert del av design prosessen så kaster du bort ressurser
• Altså: ressursbruk i forhold 9l måloppnåelse..
Hvem skal gjennomføre evalueringen?
• De som har laget prototypen eller systemet?
• Andre?
• Fordeler og ulemper?
Øvelse
• Tenk deg at du sender bort dine prototype (oblig 2) 9l et firma (eller en annen gruppe) som skal gjøre evalueringen av prototypen
– Hva trenger de@e firmaet av informasjon fra deg? – Tror du resultatene vil skille seg fra de resultatene du selv ville få@?
Nivåer – av HVA • Bruker • Tjeneste • Grensesni@ • Ne@leser • Applikasjon • HW • Sohware • Ne@verk • Omgivelse
• Hva er det vi skal evaluere? Person? Handling? Grensesni@? Oppgaveløsning? Hardware? Medium? Sohware? Bruken? Måloppnåelsen? Robusthet? Este9kk?
Evaluering -‐ begreper • Analy9sk evaluering • Kontrollerte eksperimenter • Felt studie • Forma9v evaluering • Heuris9sk evaluering • Predik9v evaluering • Summa9ve evaluering • Brukbarhets laboratorier • Bruker studier • Brukbarhets studier • Brukbarhets tes9ng • Bruker tes9ng
Tilnærminger 9l evaluering
• Brukbarhets tes9ng • Felt studier • Analy9sk evaluering
• Kombinerte 9lnærminger • Opportunis9sk evaluering
Øvelse
• To og to
• Oppgave: S9ll klokken 3 sekunder frem (armbåndsur, mobiltelefon, PC, annet)
• Planlegg evalueringen
• Gjennomføre evalueringen.
Karakteris9ka ved 9lnærmingene
• Brukbarhets tes9ng – Brukere gjør oppgaver i kontrollerte omgivelser, målinger og feil blir rapportert
• Felt studier – Brukere gjør oppgaver i ”naturlige” omgivelser, beskrivelser blir rapportert
• Analy9sk – Brukere er ikke involvert, kan gjøres ”hvorsomhelst”, problemer blir rapportert
Evaluerings 9lnærming og metoder • Brukbarhets tes9ng – Observasjon – Spørre brukere – Tes9ng
• Felt studier – Observasjon – Spørre brukere – Spørre eksperter
• Analy9sk – Spørre eksperter – Modellere
Øvelse
• Tenk ut – hva er fordeler og ulemper ved
– Brukbarhetstes9ng
– Felt studier
– Analy9sk evaluering
Evaluering i ulike kulturer
• Lese fra høyre 9l venstre – eller venstre 9l høyre?
• Bar hud/fotografier/kvinne/mann
• Metaforer – opp ned;)
Oppsummering
• Evaluering og design er sentralt i bruker -‐ sentrert utvikling
• Noen av de samme teknikkene blir beny@et for krav etablering
• Tre 9lnærminger: – Brukbarhets tes9ng – Felt studier – Analy9sk evaluering
Oppsummering -‐ fortse@else • Metoder for evaluering – Observasjon – Spørre brukere – Spørre eksperter – Bruker tes9ng – Inspeksjon – Modellere brukeres oppgaveløsning
• Triangulering betyr å beny@e ulike teknikker for å oppnå flere perspek9ver, eller å analysere data ved ulike teknikker
• Å jobbe med begrensninger er sentralt for de som gjør evalueringer
DECIDE (BUVIBE) • Determine goals
– Bestemme mål • Explore the ques9ons
– Urorske spørsmålene • Choose the evalua9on approach and methods
– Velge evaluerings 9lnærming og metoder • Iden9fy the prac9cal issues
– Iden9fiser de prak9ske forholdene • Decide how to deal with ethical issues
– Beslu@e hvordan e9ske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data
– Evaluere, analysere, tolke og presentere dataene
Bestemme målene
• Hva er målene for evalueringen? • Hvem vil ha resultatene – og hvorfor? • Målene vil influere evalueringsmåten? • Eksempler på mål: – Iden9fiser den beste metaforen for en gi@ design? – Sjekk at grensesni@et er konsekvent (consistent) – Undersøke på hvilke måter teknologien endrer arbeidspraksis?
– Forbedre brukbarheten 9l en eksisterende løsning
Urorske spørsmålene
• For all evaluering trengs mål og spørsmål • Eksempel: Et mål er å finne ut hvorfor mange brukere foretrekker å kjøpe papirbasert bille@ fremfor elektronisk bille@ – de@e spørsmålet kan deles opp/operasjonaliseres 9l: – Hva er brukerens holdninger 9l elektroniske bille@er?
– Er brukerne bekymret eller oppta@ av sikkerhet? – Hvordan oppleves brukergrensesni@et.
– Og disse tre spørsmålene kan operasjonaliseres y@erligere.
Velg evaluerings 9lnærming og metoder
• Evaluerings 9lnærming påvirker hvilke metoder som beny@es, og hvordan data blir samlet, analysert og presentert
• For eksempel vil feltstudier typisk: – Involvere observasjoner og intervjuer – Være ute i ”felten”, altså ikke laboratorium omgivelser
– Data som samles er ohest kvalita9ve
Iden9fiser prak9ske forhold
• Hvordan velge brukere? • Håndtere budsje@ og kostnader? • Håndtere 9dsfrister og 9dsrammer? • Finne de som skal evaluere? • Velge utstyr som skal beny@es for å gjennomføre evalueringen og samle inn data
Bestemme hvordan e9ske spørsmål skal håndteres
• Utvikle et ”informert samtykke” dokument/presentasjon
• Deltagere har re@ 9l: – Å vite hva som er målet med studien – Å vite hva som gjøres med funnene og dataene fra studien
– Vern av personlig informasjon som blir gi@ – Å trekke seg fra studien når de ønsker – Å bli behandlet høflig
Evaluere, tolke og presentere data
• Tilnærmingen som beny@es påvirker hvordan data blir evaluert, tolket og presentert
• Følgende vurderes: – Pålitelighet (reliability) – Gyldighet (validity) – Bias – Omfang – Økologisk gyldighet: hvordan påvirker miljøet funnene (Hawthorn effekt)
DECIDE oppsummering • Determine goals
– Bestemme mål • Explore the ques9ons
– Urorske spørsmålene • Choose the evalua9on approach and methods
– Velge evaluerings 9lnærming og metoder • Iden9fy the prac9cal issues
– Iden9fiser de prak9ske forholdene • Decide how to deal with ethical issues
– Beslu@e hvordan e9ske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data
– Evaluere, analysere, tolke og presentere dataene