Post on 05-Dec-2014
description
08/29/2007Author / Presentation title 1
Testování použitelnosti webových stránek v T-MobilePřípadová studie eShopu
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 2
Metody měření webových stránek T-Mobile
KPI’s (Key Performance Indicators) slouží k snadnému sledování
výkonnosti
Konverzní poměr pravděpodobnost, že se z
návštěvníka stane „zákazník“
Zákaznická spokojenost kvantitativní i kvalitativní hodnocení
webových stránek a procesů ze strany zákazníků
Srovnání s konkurencí kvalitativní měření výkonnosti oproti
konkurenci
umožňuje reagovat na očekávání zákazníků
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 3
Zákaznická spokojenost s weby T-Mobile
Online zpětná vazba základní statistika (počet návštěvníků, shlédnutých stránek apod.)
analýza chování (Google Analytics, WebTrends, ClickTracks)
online studie (heatmapa, dotazníková šetření)
A/B testování
Multi-Variant testing
analýza chyb
Offline zpětná vazba testování použitelnosti (Usability Study)
oční kamera
průzkum trhu
mystery shopping
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 4
Testování použitelnosti web stránek v T-Mobile
Účel průběžné kvalitativní testování
vybraných scénářů
Aplikace poznatků potřeba vytvoření metriky -> možnost
sledování vývoje návrhy implementace změn / akční plán
Náklady v provozu je finančně náročnější
aplikovat změny na základě výsledků testů
Účel prověření vybraných stránek, nového
přístupu, nových funkcionalit
Aplikace poznatků akční plán změn okamžité změny v návrhu nebo úpravy v
rámci vývoje
Náklady ve fázi návrhu webu a vývoje je aplikace
změn na základě výsledků testování levnější
Průběžné testování
v T-Mobile ČR > 4 roky
Projektové testování
v T-Mobile nově od konce roku 2008
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 5
1) Průběžné testování použitelnosti v T-Mobile
Původně 1x ročně bez metriky pro sledování změn omezené možnosti ověření, zda realizované úpravy pomohly
nemožnost sledovat vývoj
Od r. 2009 2x ročně s definovanými metrikami a jeden mezinárodně srovnatelný KPI ukazatel
Metriky úspěšnost projití scénáře, efektivita a problémy, spokojenost s
procesem
úspěšnost podle prováděné činnosti (fáze zkoumání, formulace, akce)
význam problémů – závažné, středně významné, méně důležité
definiceproblémovéoblasti:
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 6
Průběh testování
Definice testovacích scénářů typické akce v oblasti eCare + v oblasti eSales obdobné scénáře ve více zemích možnost srovnání v případě více možností dokončení scénáře identifikování preferované=ideální cesty
Výběr participantů přibližně 50/50 muži a ženy přibližně 50/50 T-Mobile a ne T-Mobile zákazníci (T-Mobile zákazníci jen pokud používají telefon pro
soukromé použití) 8 zákazníků s předplacenou kartou a 16 tarifních zákazníků používají internet > 3 hodiny týdně v posledních 3 letech měnili mobilní telefon věk: 8 x 18-24 let, 8 x 25-34 let, 8 x 35-54 let
Testování účastní se relevantní zástupci T-Mobile odpovědní za korporátní web, eShop, eCare + v případně
zástupci dodavatele
Práce s výsledky vypracování závěrečné zprávy (klíčová zjištění, co šlo dobře, co špatně, doporučení ke změně) výpočet KPI pro možnost mezinárodního srovnání a vývoje od posledního testování
akční plán následných kroků definice klíčových akcí/úprav
identifikace vlastníka
plánu implementací (v případě potřeby sladění s firemními releasy)
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 7
2) Testování v rámci projektu - eShop T-Mobile
Cíl testování ověření nového business konceptu (jednotlivé kroky nákupu, nákupní proces celkově, nákupní košík,
checkout) srozumitelnost terminologie umístění a viditelnost ovládacích prvků webu viditelnost nových funkcionalit a preference využití
Scope testování 2 kola pro vybrané scénáře, každého ze dvou kol se účastní rozdílní respondenti první kolo testování pro odhalení elementárních nesnází a překážek pro uživatele provedení úprav na základě klíčových zjištění druhé kolo pro porovnání úspěšnosti provedených úprav proti původnímu návrhu + odhalení dalších
problematických míst
První kolo probíhalo na drátěném modelu / prototypu (omezená funkcionalita mimo testovanou oblast apod.) 6 participantů (60 minut na test včetně interview před testem a po testu)
výběr participantů shodný s rekruitmentem pro pravidelné testování použitelnosti
Druhé kolo 18 participantů (60 minut na test včetně interview před testem a po testu) celkem 3 scénáře, typicky 2-3 s jedním participantem při výběru participantů přidán parametr zkušenost s online nakupováním (9 x 1-2 krát, 9 x 3 krát a více) ->
získání srovnání s nákupními procesy na jiíných eShopech
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 8
Ukázky vybraných zjištění a reakce na ně I.Zjištění:
lack of predictability causes confusion in first steps of the process
[expert opinion] separation of shopping and checkout process by appearance and navigation can contribute to this confusion
Doporučení: improve the progress indication
during the process
there are 3 different progress indicators used during the shopping and checkout which slows down the learning process
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 9
Ukázky vybraných zjištění a reakce na ně II.
Zjištění: need to make 3 choices at this page is not clear to all
participants MMC graph is too visually intensive and attracts users
attention away from the first necessary choice
Doporučení: progressive disclosure –reveal one step after another visual separation & guidance
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 10
Ukázky vybraných zjištění a reakce na ně III.Zjištění:
[expert opinion] upper “proceed to checkout” button can prevent user from selecting delivery option
explanation of code field (“Kód”) is missing and it is understood as mandatory field by several participants
Doporučení:
remove the top “proceed to checkout” button in the basket
explain the “Code” (“Kód”) field well
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 11
Ukázky vybraných zjištění a reakce na ně IV.
Zjištění: no one noticed the upper tabs at this page
Zjištění: new indication of already selected add-on in non-
active add-on group was appraised by several participants
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 12
Ukázky vybraných zjištění a reakce na ně V.
Zjištění: some perceived main area
(carousel and banners below) as an advertisement
unclear and uncomfortable rotation control
flipping of individual cards on mouse-over proved to be confusing and frequently complained about
Doporučení: redesign carousel
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 13
Ukázky vybraných zjištění a reakce na ně VI.
Zjištění: featured phones distract users' attention when
searching for a particular handset users expected to see the whole selection of
handsets but instead only initially saw these 3
Doporučení:
start the full list of phones at the top of the phones page rather than just showing the promotions on 3 specific phones
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 14
Otázky?
11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 15
Děkuji vám za pozornost.
Radek Mašata
radek.masata@t-mobile.cz