Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys
description
Transcript of Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys
Asiantuntija-arvio vs. käyttäjillä testaaminen:
testitapausten merkitys Aki KorpuaSeminaari: Käyttöliittymien arviointi menetelmätHelsingin Yliopisto 2006
Aiheet
Testitapauksia yleisesti katsastaen Esimerkki 1: Teamwave Workplace Esimerkki 2: HelMet simulaatio ja käytäntö Esimerkki 3: Last.fm
Käyttötapaus ~ Testitapaus ~ Tehtävä
Testitapausten merkitys
Kuvaa jotain tehtävää, joka tulisi suorittaa testattavalla käyttöliittymällä.
Vaikuttaa:Minkälaisia ongelmia ohjelmasta löytyy.Miten käyttöliittymää arvioidaan.Mitä osia käyttöliittymästä testi kattaa.
Testitapausten haaste
Asiantuntia arvioinneissa ei ole oikeaa käyttäjää. Onko testi järkevä käyttäjän kannalta?
Hyvä testitapaus antaa paremman kuvan siitä miten oikea käyttäjä haluaisi käyttää ohjelmaa.
Hyvän testitapauksen löytäminen edellyttää käyttäjähaastatteluita ja –tarkkailuja.
Tärkeää pystyä löytämään kaikki tarvittava tieto testitapausta varten, niin että se vastaisi mahdollisimman hyvin oikeaa käyttötilannetta.
Tavoitepohjainen käyttö/testitapaus
Irrottaa käyttäjän tavoitteen järjestelmästä. Antaa tarvittavat tiedot nykyhetken tilasta
sekä käyttäjän tietämyksestä:Tarvittavat faktatAjanhetken (aktivoitumistila)Mitä käyttäjä tietää/ei tiedäMahdolliset ajat, paikat ja resurssit
Esimerkki: Teamwave Workplace
Asynkroninen ryhmätyökalu. Halutaan helpottaa robottihitsaus koneiden
suunnitteluryhmän toimintaa. Osa ryhmän tutkijoista työskentelee etänä.
Esimerkki: Teamwave Workplace
Kaksi erillistä käytettävyystestiäKäyttäjätestaus Käyttöliittymäkatselmus
Vertaillaan testien tuloksia
Käyttäjätestaus
Työryhmä koulutettiin käyttämään TW:tä Työryhmä käytti ohjelmaa 2,5 kuukauden ajan
yhteistyöskentelyn tukena Kerättiin lokia Jälkeenpäin tehtiin kyselylomake ja
henkilökohtaisia haastatteluita 2 analyytikko vietti yli 5 kuukautta käydessään
läpi tarkkailuntuloksia
Käyttöliittymäkatselmus
4 testaajaa, kukaan ei tuntenut robottihitsaus alaa eivätkä erityisesti tienneet kohderyhmän toimintatavoista.
Testi muistutti heuristista evaluaatiota Tunnin ohjelman tutkiskelu Tunnin synkronoitu tehtävä Alustava katselmus itsenäisesti Kolmen päivän asynkroninen tehtävä Lopullinen katselmus yhdessä
Tehtävillä yritettiin katsoa yleisesti ohjelman toimintoja Valitettavasti tehtäviä ei oltu annettu lähteessä
Yhteistyön luokittelu
Käyttöliittymä ongelmat luokiteltiin näihin kategorioihin.
1. Explicit communication2. Implicit communication3. Coordination of action4. Planning5. Monitoring6. Assistance7. Protection
Arviointi
Rating Description+2 Very succesful, few problems
+1 Often succesful, but some awkwardness
0 Adequate: no major problems or major benefits
-1 Useful in some situations but many drawbacks
-2 Rarely succesful with many failures
N/A Not enough information to rate
Löydettyjä ongelmia: yhteisiä
Explicit communication/Monitoring (7,1): Vaikeaa havaita uusia viestejä chatissä
Explicit communication (3,3): Kommunikointi onnistuu vain huoneen sisällä, ei huoneiden välillä
Monitoring (8,9): Huoneessa olevien ihmisten ja toiminnan seuraaminen vaikeaa. Värit eivät auta (käyttäjätestauksessa oli yksi värisokea)
Protection (10,10): Ei omistajuutta esineille, eikä undo toimintoa.
Planning (9,4): Suunnittelu työkalut olivat heikkoja, käyttivät muita työkaluja tähän tarkoitukseen
Löydettyjä ongelmia: vain käyttäjätestaus Explicit communication: Hankala erottaa oleellinen osa
huoneessa käytävästä keskustelusta Explicit communication: Ei tarpeeksi tehokkaita työkaluja
kommunikointiin (parempi laatuiset kuvat) Explicit communication: liitutaulu-työkalu oli liian
kömpelö ja hidas kommunikointiin Explicit communication: Heikkoja työkaluja, vain
yleiskäyttöisimpiä kommunikointityökaluja oli käytetty Implicit communication: Oli vaikeaa huomata muutoksia
esineissä (käyttivät sähköpostia tähän)
Löydettyjä ongelmia: vain käyttöliittymäkatselmus Explicit communication: Ei pystynyt tietämään
”kuunteliko” toinen chattia Coordination: Hankala tietää mitä toiset olivat tekemässä Coordination,Monitoring: Yhteiskäytön hallinta heikkoa,
saattoi yhtä aikaa kirjoittaa toisen työn yli. Monitoring: Hankala huomata milloin ihminen saapui/lähti
huoneesta Monitoring: Hankala huomata mitä huoneessa on
tapahtunut sitten viime kerran kun oli siellä
Erojen pohdintaa
Vain kymmenen pahinta ongelmaa, painotus oli eriarvoista
Työryhmä kiersi osan ongelmista käyttämällä jotain toista tapaa, jolloin se ei ollut enää niin suuri ongelma kuin katselmuksessa arveltiin
Katselmuksessa ohjelman käyttö oli intensiivisempää. Työryhmässä ohjelmaa harvoin käytti oikeasti monta ryhmäläistä yhtä aikaa.
Arviointi
Käyttäjätestaus:
1. Explicit communication +1
2. Implicit communication -1
3. Coordination of action N/A
4. Planning -1
5. Monitoring -1
6. Assistance N/A
7. Protection 0
Katselmus
1. Explicit communication -1
2. Implicit communication -1
3. Coordination of action 0
4. Planning -1
5. Monitoring 0
6. Assistance -1
7. Protection -1
Käyttäjätestaus - päätelmä
Työryhmä hyötyi mielestään ohjelman käytöstä Paransi työskentelyn tehokkuutta Työryhmä käytti myös järjestelmän ulkopuolisia
järjestelmiä hyväksi esim. sähköpostia ja kokouksia
Osaa ohjelman tarjoamista ominaisuuksista he eivät käyttäneet laisinkaan
Kaikkea ei pystytty arvioimaan kunnolla. Käyttäjätarkkailu olisi mahdollisesti auttanut tässä.
Käyttöliittymäkatselmus - Päätelmä
Käyttöliittymässä paljon ongelmia: explicit communication. Keskustelutyökalu kömpelö.
Huono tuki pidempi aikaiselle yhteistyölle Eivät suosittelisi ohjelmaa käytettäväksi
työryhmälle
Päätelmiä – yhteenveto 1/3
Yli puolet ongelmista olivat samoja 10 pahimman joukossa
Käyttäjätarkkailu havaitsi silti ohjelman hyödylliseksi kun katselmus olisi hylännyt sen
Halvempi katselmus on hyödyllinen ja se on suositeltavaa suorittaa ennen kenttätutkimusta
Katselmus tarkasteli ohjelmaa yleisesti, kun taas käyttäjätestaus keskittyi täysin vain ryhmän tarpeisiin
Päätelmiä – yhteenveto 2/3
Käyttäjätarkkailua ei tehty. Osa informaatiosta miten käyttäjät yrittivät käyttää ohjelmaa ongelmiensa ratkaisuun jäivät pimentoon käyttäjätestauksessa.
Käytettiin (ilmeisesti) yleisiä yksinkertaisia tehtävä- skenaarioita katselmuksessa.
Tehtäviin olisi voinut liittää ryhmä jäsenten tietämystä: Tieto- ja taitotaso Muut käytettävissä olevat menetelmät (sähköposti, puhelin,…) Kokous mahdollisuus
Päätelmiä – yhteenveto 3/3
Jos testitapauksia olisi painotettu juuri ryhmäntarpeiden mukaan olisiko tulokset olleet enemmän samanlaisia?
Jos kyllä, voisiko kalliin ja aikaa vievän käyttäjätarkkailun jättää pois ja korvata halvemmalla menetelmällä?
Miten voimme olla varmoja että testitapaukset ovat tarpeeksi hyviä tarpeisiimme?
Toinen esimerkki
Tutkitaan miten vahvasti testitapaukset vaikuttavat asiantuntija arvioiden tuloksiin.
Otetaan seminaarissa käytettyjä menetelmiä ja varioidaan näiden testitapauksia ja katsotaan miten ne voisivat vaikuttaa tuloksiin.
Simulointitestaus – Jyrki Salonen
KT1: Laila Hietamiehen uusi kirja Annen tavoite:
Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen uusimman teoksen, mutta hänellä ei vielä ole kirjaa.
Tilatietoja: Nyt on su 15.1.2006 klo 16.30 Anne on kotonaan Espoon
Leppävaarassa Annella on kotonaan tietokone
nettiyhteydellä ja sähköpostilla Annella on tunnukset www.helmet.fi -
palveluun Hietamiehen uusi kirja on ilmestynyt
viime syksyn aikana Laila Hietamiehen nimi on muuttunut
Laila Hirvisaareksi ja uusi romaani Kruununpuisto on julkaistu tällä nimellä
Annen tietämys: Anne tietää uuden Romaanin
nimen Anne tietää Hietamiehen
nimenvaihdoksesta Annella ei ole tapana ostaa
kirjoja Leppävaaran kirjasto on
Annelle tuttu ja hän on noutanut sieltä varattuja kirjoja aikaisemminkin
Kirjastot: Useilla Helsingin kirjastoilla on
kirja valikoimassaan Kirja on erittäin kysytty
Typistetty testitapausIlman tila- ja tietämysdataa
Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen (uusi sukunimi: Hirvisaari) uusimman teoksen (kruununpuisto), mutta hänellä ei vielä ole kirjaa.
Vaikutuksia
Testaaja ei välttämättä välitä lainkaan mistä kirjastosta hakee kirjan.
Varioimalla tila- ja tietämysdataa saadaan paljon erilaisia tilanteita lisää esille rekisteröityminen hakeminen kirjailijan nimellä kirjailijan nimen muutoksen selvitys
Yksinkertainen testitapaus jättää asiantuntijan harteille huomata nämä seikat.
Motivoi huonommin miettimään miten oikeasti käyttäjä toimisi eri tilanteissa.
Kärjistetty testitapaus
Kirjan kruunupuisto varaus HelMet-järjestelmässä.
Samat ongelmat kertautuu vahvemmin. Saatetaan käyttää vain valmista Testi Testaaja
varaajaa testissä. Ei välitetä mahdollisesti milloin kirja olisi
saataville; varattu ja sillä selvä.
KT1: Laila Hietamiehen uusin kirja. (Jani Hanhisalo)
Kaverisi Johanna kehuu sinulle Laila Hirvisaaren uusinta kirjaa kruununpuisto.
Olet lukenut Laila Hietaniemen edelliset kirjat ja tiedät hänen nimen vaihdoksesta.
Kun vielä kaverisi suosittelee kirjaa myös sinun kiinnostuksesi herää. Et kuitenkaan haluaisi ostaa kirjaa, koska sinulla ei ole ylimääräistä rahaa juuri nyt, vaan haluaisit mieluummin lainata sen kirjastosta. Olet kotonasi Korsossa (Peltomyyränkuja 2). Haluat siis lukea kyseisen kirjan mahdollisimman nopeasti. (ei syytä tähän?)
Miten saisit kirjan ja milloin uskot saavasi sen?
virhe!!!
Vaikutuksia
Testitapauksella on hyvin tärkeä merkitys testikäyttäjän motivoitumiselle
Rahan puute motivoi käyttämään juuri kirjastoa (vaikka kirjan varaustilanne on paha)
Kysymykset Miten ja Milloin motivoivat kaivamaan nämä informaatiot käyttöliittymästä eli auttavat viemään testitapauksen loppuun asti
Tehtävä 2: onko Gordonilla ystäviä? (Samuli Kaipiainen)
Gordon sai lisättyä kaverinsa Samulin ystävälistalleen. Nyt häntä kiinnostaa, onkohan kukaan lisännyt häntä ystäväkseen, sillä hän on täpinöissään mainostanut Last.fm-sivuaan irc-kavereilleen. Erityisesti häntä kiinnostaa millaisia ystäväkuvauksia hän on saanut, lupsakka kaveri kun on.
Tilatietoa: Gordon lisäsi juuri Samulin ystäväkseen Gordon jäi sen jäljiltä Samulin profiilisivulle osoitteeseen
http://www.last.fm/user/Ponkki/ Gordon ei antanut rekisteröityessään sähköpostiosoitettaan, joten hän ei saa
ilmoituksia ystävälistalisäyksistä Lisätessään Samulin ystäväkseen, Gordon kuvaili ystävyyttä termillä ”grauuuu” Gordonilla ei ehkä ole muita ystäviä
Muutoksia testitapaukseen
Lisäys kiinnostuksesta mitä Gordonista sanotaan itsestään lisää expand-infon käytön tarpeen testitapaukseen.
Jos irc-kaverit olisi lueteltu nimeltä, olisi voitu saada tapaus, jossa jokin ulkopuolinen henkilö olisi lisännyt gordonin ystäviin ja kiinnostus henkilön henkilöllisyyden selvittämisestä olisi herännyt
Lähteet
[Steves01] Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001.
[Laakso05] Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005.
[Salonen06] Jyrki Salonen, Simulointitestaus (simulation-based expert review). Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006
[Kaipiainen06] Käytettävyysläpikäynti (usability walkthrough), Samuli Kaipiainen. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006
[Hanhisalo06] Käytettävyystestauksella selville saatavat ongelmat (usability testing), Jani Hanhisalo. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006s