Usability test af beholdere I LeifgårdenOtte beboere i Leifgården deltog d.1.september i en...

MST-770-00243

Brugervenlige affaldsordninger – Lige muligheder for alle

Usability test rapport

Usability test af beholdere I Leifgården

Test gennemført af

Tina Winberg

Ditte Vestergaard Hansen

Martin Tilsted

Byens Udvikling, Københavns kommune

2



13.september 2016

Indhold

Resumé ............................................................................................................................................ 2

Introduktion .................................................................................................................................. 4

Hypoteser om brugervenlighed (ift. ældre) ...................................................................... 4

Mål for testen ................................................................................................................................ 5

Deltagere ........................................................................................................................................ 5

Metode ............................................................................................................................................. 6

Scenarier & Opgaver .................................................................................................................. 7

Resultater .....................................................................................................................................11

Anbefalinger ................................................................................................................................13

Konklusion ...................................................................................................................................13

Resumé

3



Denne rapport opsamler en kvalitativ undersøgelse af ældres brug af standard beholdermateriel til affald i Københavns kommune. Otte beboere i Leifgården deltog d.1.september i en brugertest, hvor de blev stillet spørgsmål og opgaver vedrørende affald, genanvendelse og brugen af 660 liters beholdere, 180 liters beholdere og en lille glaskube. Analysen af resultaterne fra usability testen har vist at der kan observeres udfordringer ved affaldsordningernes: Indkasthøjde Kommunikation Type af indkast Indretning Spørgsmål til testen kan rettes til: Martin Tilsted – [email protected], +45 2423 5539 Tina Winberg – [email protected], +45 2966 4037

mailto:[email protected]

mailto:[email protected]

4



Introduktion

Usability test er en metode, til at evaluere et produkt eller en service, ved at observere brugernes interaktion med dette. Der findes mange varianter af usability tests. Den klassiske metode vil ofte bære præg af at skulle foregå i et yderst kontrolleret miljø (et ’usability lab’). Dog peger flere usability eksperter på at mange effektive udviklingsforløb har fokuseret tid og ressourcer på at undersøge få brugere, men til gengæld af flere omgange. Dette betyder også at usability tests ikke som sådan kan anvendes statistisk, men at indsigter fra disse små brugertests kan anvendes som grundlag for designbeslutninger og som inspiration for større undersøgelser. Kort sagt: hvis 5 tilfældigt udvalgte brugere ikke oplever et problem ved en specifik feature, så er den nok ikke så interessant at teste i stor skala – det samme kan dog ikke siges om en feature som 3 ud af 5 brugere misforstår eller bruger forkert. Denne usability test er derfor også udelukkende tiltænkt at kvalificere de indsigter som er beskrevet i SBI-rapport nr.326, samt at supplere den kvantitative spørgeskemaundersøgelse, som ligeledes udføres i september 2016. Testteamet valgte at afprøve affaldsordningers brugervenlighed på maks. 10 beboere i Leifgården. Af de inviterede valgte 8 af deltage i selve usability testen. Testen blev udført d.1. september 2016 ved Leifgårdens affaldsø.

Hypoteser om brugervenlighed (ift. ældre) I SBI’s rapport fra 1999 pegede forfatterne på, at udformningen af det nuværende beholdermateriel resulterede i udfordringer for nogle beboere i etageboliger. Dette skyldtes blandt andet indkastenes høje placering og lågenes vægt og funktion. SBI konkluderede at man ved at re-designe beholdere kunne inkludere de 15-20% af beboerne som dengang oplevede udfordringerne, heriblandt ældre, gangbesværede, børn og personer med diverse funktionsnedsættelser. Bseret på ovenstående undersøgelse opstilledes 4 hypoteser om brugervenlighed til denne usability test.

Hypotese 1: Nogle brugere vil have svært ved at skelne genanvendeligt affald fra ikke-

genanvendeligt.

Hypotese 2: Nogle brugere vil have svært ved at aflevere affaldet problemfrit i

beholderne

5



Hypotese 3: Nogle brugere vil have svært ved at nå indkastet i glasbeholderen

Hypotese 4: Meget få brugere vil være i tvivl om HVOR den relevante beholder står, skal

ANVENDES eller SER UD.

Ovenstående hypoteser har fungeret som basis for testens tre scenarier.

Mål for testen Testen skal understøtte det videre arbejde med at komme med designforslag til hvordan affaldsordninger kan indrettes så brugervenligt som muligt. Projektet søger at skabe tilgængelighed til affaldsordninger for alle. ”Tilgængelighed for alle” er defineret i projektet som en succesrate på 95 % for almindelig brug af beholderne, svarende til en gennemsnitlig forbedring i succes rate på 10-15 % for alle brugergrupper. I denne usability test, undersøges brugervenligheden udelukkende for målgruppen, dvs. de 15-20% hvor succes raten forventes at være lavest.

Deltagere Testdeltagerne var beboere i Leifgården. Nogle boede langt fra affaldsøen, andre havde en meget kort afstand til den. Gruppen blev ikke udvalgt med henblik på at undersøge afstandens indflydelse på beboernes sorteringsevne eller motivation hertil.

Deltagerne til testen blev udvalgt

af den daglige driftsleder i

Leifgården. 10 beboere modtog en

invitation. 8 valgte at deltage i

testen.

Der var en klar overrepræsentation

af kvinder i testen. I en større test

med et statistisk formål, bør

deltagergruppen sammensættes så

befolkningsgennemsnittet

repræsenteres bedre.

12%

88%

Kønsfordeling blandt deltagere

Mand

Kvinde

6



Metode

Usability testen af Leifgårdens affaldsordninger bestod af en introduktion, 4 små opgaver

relateret til deltagernes forståelse af affald og brugen af beholderne, samt et kort post-test

interview omhandlende brugerens oplevelse af affaldsordningerne.

Testen blev udført af tre personer med hver deres rolle:

1. Facilitatoren: guider deltagerne igennem testen og introducerer opgaverne

2. Observatør: noterer deltagerbesvarelser og adfærd, vurderer om opgaven er

succesfuldt udført og nedskriver citater

3. Kameramand: filmer deltagernes interaktioner med materiellet

Efter den indledende introduktion (se Facilitator manus) af facilitatoren, blev deltagerne

stillet nogle opgaver. De første tre opgaver fokuserede på deltagernes viden om

genanvendelse og det københavnske affaldssystem, hvorimod den sidste opgave

udelukkende fokuserede på deltagernes adfærd og interaktion med beholderne.

Test-teamet valgte helt bevidst ”tænke-højt”-metoden fra, da vi ikke ønskede at brugerne

skulle reflektere over egen adfærd.

Opgavernes udførelse blev videofilmet, imens observatøren nedskrev citater fra

deltagerne, samt pointgav opgavens udførelse i et excel-ark, til senere anvendelse.

Til sidst blev deltagerne ført igennem række post-test spørgsmål, og samtalen blev åbnet

op og deltagerne fik lov til selv at dreje samtalen hen på emner de fandt relevante.

7



Scenarier & Opgaver

Baseret på de fire opstillede hypoteser blev tre scenarier konstrueret til afprøvning af

forskelligt beholdermateriel og forskellige typer af affald. Som support til testen blev et

facilitator manuskript og et test script udarbejdet.

Facilitator manuskript Scenarie Facilitator Tasks & Flow Noter

SPØRG: For bedre at kunne dokumentere brugen af beholderne, vil vi gerne bede om lov til at videofilme dig udføre øvelserne. Vil dette være i orden?

Gør: Udlever samtykkeerklæring til bruger. Brugeren underskriver samtykkeerklæring.

Scenarie A

Aflevering af plast/papir i 600L. Bruger står udenfor affaldsø og afventer instrukser.

A SIG: I denne test vil vi bede dig om at aflevere tre forskellige typer affald i deres respektive beholdere. Affaldet er blevet vasket og er tørt, så du behøver ikke at være bange for madrester eller andet ulækkert. Vi vil guide dig igennem alle tre tests.

A Gør: Udlever pose med affald til brugeren. SIG: Forestil dig at du over en periode har sorteret dit affald i forskellige fraktioner. Du har nu fået fyldt denne pose med affald og vil aflevere det til genanvendelse.

A Brugeren vises ind i affaldsområdet...

A Spørg: Kan du fortælle mig hvilken type affald der er tale om?

B kan nemt skelne imellem affaldsfraktioner

A Spørg: Kan alt affaldet i posen genanvendes eller kan du finde noget som er lagt i ved en fejl?

B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald

A Spørg: Kan du fortælle mig hvilken beholder affaldet hører til i?

B forstår hvilken beholder affaldet skal i.

A SIG: Vær sød at smide affaldet ud i beholderen. B kommer nemt hen til beholderen

B forstår hvordan affaldet skal smides i beholderen

8



B kan nemt smide affaldet i beholderen

Scenarie B Test med aflevering af flasker i lille glaskube. B er inde i affaldsområdet.

B

SIG: Ligesom før får du her udleveret noget affald… Samme script som i scenarie A

Scenarie C Test med aflevering af metal i 240L beholder. B er inde i affaldsområdet.

C

SIG: Ligesom før får du her udleveret noget affald… Samme script som i scenarie A

Debriefing Foretages for hver bruger efter udførelse af øvelserne

DB Hvad er dine tanker her efterfølgende?

Hvordan føltes det at gennemføre øvelserne? NB! Bruge noter

fra øvelsen! DB Hvilken beholder foretrak du at bruge?

DB Er der noget du tænker kunne blive forbedret - noget som du synes var sværere end andet?

Test Script

Scenarie Tasks & Flow Definition of done

Scenarie A

A B kan nemt skelne imellem affaldsfraktioner

B udpeger affaldet korrekt (1: B udpeger med det samme - uden tøven) (2: B tøver.. 'Øh.. Jeg er ikke helt sikker'.) (3: B ved ikke hvilken fraktion affaldet tilhører.)

A B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald

B svarer korrekt på spørgsmålet (1: Ja, det kan alt sammen genanvendes) (2: B tøver.. 'Øh.. Jeg er ikke helt sikker'.) (3: B udpeger genanvendeligt affald, som ikke-genanvendeligt)

A B forstår hvilken beholder affaldet skal i.

B udpeger den korrekte beholder (1: B udpeger med det samme - uden tøven) (2: B tøver.. 'Øh.. Jeg er ikke helt sikker'.) (3: B kan ikke finde beholderen.)

A B kommer nemt hen til beholderen


9



A B forstår hvordan affaldet skal smides i beholderen

B åbner beholderens låg (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvordan affaldet skal smides ind)

A B kan nemt smide affaldet i beholderen

B smider affaldet i beholderen (1: B er i stand til, på meget kort tid, at smide affaldet i beholderen) (2: B kæmper med at holde låget åbent/nå indkastet/B bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance)

Scenarie B

B B kan nemt skelne imellem affaldsfraktioner


B B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald


B B forstår hvilken beholder affaldet skal i.


B B kommer nemt hen til beholderen


B B forstår hvordan affaldet skal smides i beholderen

B identificerer indkastet på beholderen (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvor affaldet skal smides ind)

B B kan nemt smide affaldet i beholderen

B smider affaldet i beholderen (1: B er i stand til, på meget kort tid, at smide affaldet i beholderen) (2: B kæmper med at nå indkastet/B bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance)

Scenarie C

C B kan nemt skelne imellem affaldsfraktioner


C B kan nemt skelne genanvendeligt affald fra ikke-genanvendeligt affald


10



C B forstår hvilken beholder affaldet skal i.


C B kommer nemt hen til beholderen


C B forstår hvordan affaldet skal smides i beholderen

B åbner beholderens låg (1: B tøver ikke) (2: B tøver) (3: B kan ikke finde ud af hvordan affaldet skal smides ind)

C B kan nemt smide affaldet i beholderen

B smider affaldet i beholderen (1: B er i stand til, på meget kort tid, at smide affaldet i beholderen) (2: B kæmper med at holde låget åbent/nå indkastet/B bruger flere minutter på opgaven) (3: B opgiver at smide affaldet ud/beder om assistance)

11



Resultater

Overordnet set kunne langt de fleste brugere gennemføre opgaverne. Brugerne

fejler oftest når de skal skelne genanvendeligt fra ikke-genanvendeligt, men også når

de skal håndtere beholdernes låg.

Scenarie A B kan nemt

skelne imellem affaldsfraktioner

B kan nemt skelne

genanvendeligt affald fra ikke-genanvendeligt

affald

B forstår hvilken

beholder affaldet skal i.

B kommer nemt hen

til beholdere

n

B forstår hvordan affaldet

skal smides i

beholderen

B kan nemt smide

affaldet i beholdere

n

Deltager 1 1 1 1 1 1 0

Deltager 2 1 1 1 1 1 1

Deltager 3a 1 1 1 1 1 1

Deltager 3b 0 0 0 1 1 1

Deltager 4a 1 1 1 1 1 1

Deltager 4b 1 1 1 1 1 1

Deltager 5a 1 1 1 1 1 1

Deltager 5b 1 1 1 1 1 1

Deltager 6a 0 0 0 1 1 0

Deltager 6b 1 1 1 1 1 0

Deltager 7a 1 1 1 1 1 1

Deltager 7b 1 1 1 1 1 1

Deltager 8a 0 1 0 1 1 1

Deltager 8b 1 1 1 1 1 1

SUM 11 12 11 8 8 11

Success Rate 84,5% 92% 84,5% 100% 100% 84,4%

12



Scenarie B

B kan nemt skelne imellem

affaldsfraktioner

B kan nemt skelne

genanvendeligt affald fra ikke-genanvendeligt

affald

B forstår hvilken

beholder affaldet skal i.

B kommer nemt hen

til beholderen

B forstår hvordan affaldet

skal smides i

beholderen

B kan nemt smide

affaldet i beholderen

Deltager 1 0 1 1 1 1 1

Deltager 2 0 1 1 1 1 1

SUM 0 7 6 8 8 6

Success Rate 0% 100% 100% 100% 100% 100%

Scenarie C B forstår hvordan affaldet skal smides i beholderen

B kan nemt smide affaldet i beholderen

Deltager 1 1 0

SUM 1 0

Success Rate 100% 0%

Hvis der var tid blev deltagerne bedt om at vurdere beholdernes design og brugeroplevelsen af at udføre opgaven. Glasbeholderen scorede højere end 660 liters beholderen, pga. den nemme indkastmulighed. Flere af deltagerne, som ikke testede selve glasbeholderen, efterspurgte ”det gamle indkast i papirbeholderne”, som de huskede som meget mere behageligt og nemt at benytte end de nye beholdere.

”Jeg kan ikke holde det (låget) for så bruger jeg kun håndleddet"mine arme” ”Beholderen mangler de små indkast – dem kunne jeg bedre lide” “..holde låget er dårligt når man skal smide meget ud. Når man har meget papir affald er det besværligt på grund af låget”

13



Anbefalinger

Brugerne har grundlæggende ikke problemer med at benytte beholderne, men der

er nogle punkter hvor indretningen kan forbedres.

1) Lågene er tunge og generelt besværlige at håndtere for flere af brugerne.

Indkast er at foretrække. Glasbeholderen scorede højere som løsning, da

indkast opleves som mere brugervenligt, på trods af den højere indkasthøjde.

2) Indkasthøjden er et problem, når brugerne skal holde lågene. Man kan

forbedre brugeroplevelsen, ved at sænke indkasthøjden

3) Brugerne har svært ved at finde ud af fraktionerne og hvad man ikke må

sortere til genanvendelse. Skiltene virker ikke særligt godt som hjælp, da de

er for små og utydelige, og fraktionerne ikke afspejler det affald som

beboerne har. Fx Anton Berg chokoladeæske, som ikke blev anset for

genanvendelig.

4) Beholdere som står forkert placeret, er meget svære at vende om igen.

Beholderne kan ikke betjenes bagfra af brugerne

Konklusion Hypotese 1: Nogle brugere vil have svært ved at skelne genanvendeligt affald fra ikke-

genanvendeligt.

Hypotesen er bekræftet!

Hypotese 2: Nogle brugere vil have svært ved at aflevere affaldet problemfrit i

beholderne.

Hypotesen blev bekræftet!

Hypotese 3: Nogle brugere vil have svært ved at nå indkastet i glasbeholderen

Hypotesen blev til dels afkræftet. Indkastet var bedre end låg, men glaskuben blev kun afprøvet af to deltagere.

Hypotese 4: Meget få brugere vil være i tvivl om HVOR den relevante beholder står, skal

ANVENDES eller SER UD.

Hypotesen blev bekræftet.

Informeret samtykke til deltagelse i videofilmet forsøg med videnskabeligt formål

Projektets titel: Brugervenlige affaldsordninger – lige muligheder for alle

Erklæring fra forsøgspersonen:

Jeg bekræfter hermed min deltagelse i Københavns kommunes Teknik- og Miljøforvaltnings (TMF)

forsøg om brugervenlige affaldsordninger, og giver samtidig mit samtykke til, at TMF må benytte og

evt. offentliggøre resultater og videooptagelser af forsøget, såfremt der sker effektiv anonymisering af

oplysningerne.

Jeg ved, at det er frivilligt at deltage, og at jeg kan ophøre med at deltage, såfremt jeg måtte ønske det.

Jeg er blevet gjort bekendt med, at jeg på grund af forsøgets videnskabelige sigte ikke kan tilbagekalde

mit samtykke med den virkning, at kommunen ikke må behandle de oplysninger, som allerede er

indsamlet under forsøget.

Jeg er blevet oplyst om, at de indsamlede oplysninger alene må anvendes og videregives til brug for

statistiske eller videnskabelige formål.

Jeg giver samtykke til, at deltage i forsøget, og jeg har fået en kopi af dette samtykkeark samt en kopi

af den skriftlige information til eget brug.

Forsøgspersonens navn: _____________________________________________________________

Dato:_______________Underskrift:___________________________________________________

Erklæring fra den, der giver information:

Jeg erklærer, at forsøgspersonen har modtaget mundtlig og skriftlig information om forsøget.

Efter min overbevisning er der givet tilstrækkelig information til, at der kan træffes beslutning om

deltagelse i forsøget, samt tilladelse til offentliggørelse af anonymiserede resultater og videooptagelser.

Navnet på den, der har afgivet information: Martin Tilsted, Københavns kommune.

Dato:_______________Underskrift:___________________________________________________

Usability test af beholdere I LeifgårdenOtte beboere i Leifgården deltog d.1.september i en...

Documents

Transcript of Usability test af beholdere I LeifgårdenOtte beboere i Leifgården deltog d.1.september i en...