Post on 03-Jun-2020
UXCrowd 2016
2 Полное руководство по пользовательскому тестированию
ОглавлениеВВЕДЕНИЕОпределитесвоюцельСпроситесебя:чтояхочуузнать?Определите,чтоикоговыизучаетеВыбораудиториидляисследованияАудиториядляопределенияосновныхпроблемАудиториядляглубинногоисследованияКакмногоучастниковпривлечькисследованию?ДругиеидеиСоздайтесвойплантестированияВопросыизадачиСоздатьцепочкузадачИспользованиеобщихиконкретныхзадачвтестахОбщиезадачиКонкретныезадачиПланируйтезадачисиспользованиемлогическогопотокаДелайтеинструкциикзадачамкраткимиПримерплохойформулировкизадачиСоветыдлясборафактическихответовСоветыдлясборасубъективныхданныхИзбегайтенаводящихвопросовЛучшиепрактикидляразличныхтиповвопросовЗапуститепробноетестированиеОстерегайтесьошибокОшибкавыборааудиторииРЕШЕНИЕОшибкасоставлениявопросовОшибкивотзывахучастниковОшибки«общественногомнения»ОшибкамолчаливогосогласияПроанализируйтесвоирезультатыЧтоискатьИспользованиерезультатовисследованийПоделитесьсвоимивыводамиВыводСозданиеновогоопыта
3444555667788899
1010101112131314141415151616171717181818
3 Полное руководство по пользовательскому тестированию
ВведениеОбратнаясвязьотпользователейявляетсяключомкуспехулюбогобизнеса,независимооттого,запускаетевыприложение,перепроектируетевеб-сайт,илисистемноработаетенадулучшениемкачествавашегопродукта.
Какжеполучитьэтуобратнуюсвязь?
Дистанционноетестирование пользовательского опыта выможетепроводитьнапользователях,живущихвразныхгородахистранах.Эторазнообразитмнения,собранныеовашемпродукте,ивывыявитебольшепроблем,чемприклассическомтестированиивлабораториисмодератором.
Пользователипроходяттестированиевсвоейестественнойсреде:дома,наработе,наотдыхе-ичувствуютсебяраскрепощенно.Такиеисследованиядаютнамногобольшеполезнойинформации,потомучтореспондентнебоитсясказатьлишнегоилиошибиться.
Регулярное тестированиепользовательского опыта поможетвам:
ПРОВЕРИТЬИДЕЮПРОДУКТАДОЕГОЗАПУСКАВРАБОТУ
ПРИНИМАТЬКАЧЕСТВЕННЫЕРЕШЕНИЯПОРАЗВИТИЮПРОДУКТА
ТОЧНООПРЕДЕЛЯТЬПРИОРИТЕТЫДЛЯКОМАНДЫРАЗРАБОТКИ
ПОНЯТЬ,КАКВАШИКОНКУРЕНТНЫЕПРЕИМУЩЕСТВАПОНИМАЕТВАШААУДИТОРИЯ
ИЗМЕНИТЬПОДХОДВАШЕЙКОМПАНИИКПОЛЬЗОВАТЕЛЬСКОМУОПЫТУ
Дистанционноетестирование пользовательского опыта поможетбыстропонятькакулучшитьсайтилипрототип
Вэтомруководствемырасскажемкакпланироватьипроводитьдистанционное тестирование,атакжеанализироватьрезультатытакого исследования.Новичкиузнают,какправильносоздатьтестисделатьверныевыводыизрезультатов.Опытныеисследователисмогутизучитьлучшиепрактикидляприменениясвоихнавыковвдистанционномтестировании.
4 Полное руководство по пользовательскому тестированию
Определите свою цельПервыйшагнапутиполученияполезнойобратнойсвязи-постановкачеткойзадачи.Есливынезнаететочно,какуюинформациювамнужнополучить после проведения исследования,тотестированиеврядличто-товыявит.
Спросите себя: что я хочу узнать?
Ненужнопытатьсявыявитьвсепроблемыудобстваиспользованияилиповеденияпользователейводномисчерпывающемисследовании.Гораздопрощеипродуктивнеезапуститьряднебольшихисследованийсконкретнойцельювкаждом.Такимобразом,выполучитецеленаправленнуюобратнуюсвязь.Формулируйтезадачитестированияясноикратко,чтобыпоответампользователейвыявитьпроблемы,требующиевнимания.
Пример избыточно сложной задачи:Могутлипользователилегконайтинашипродуктыипринятьобдуманноерешениеопокупке?
Эта задача на самом деле содержит три разных подзадачи:1. могутлипользователинайтипродукт;2. могутлипользователиполучитьинформациюонем;3. могутлипользователисделатьпокупку.
Пример удачной задачи:Могутлипользователинайтинужнуюиминформациюопродукте?
Определивцель,подумайтеорезультатах,которыемогутбытьвамполезны.Васличноможеточеньинтересовать,какпользователивзаимодействуютсинтерфейсомвцелом,ноэтонебудетполезно,еслиосновнаяцельвашейкоманды–усовершенствоватьпроцессмонетизации.
Фокусвниманиянаприоритетныхзадачахпоможетструктурироватьвашиисследованиятак,чтобыполучатьинформациютолькооважнойфункциональности.Четкаяпостановкацелейтакжеподскажетвам,когопривлекатьдляучастияввашемисследовании,какиезадачионибудутвыполнять,икакиевопросывыдолжныимзадать.
5 Полное руководство по пользовательскому тестированию
Определите, что и кого вы изучаетеПослетого,каквыопределитесьсцельюисследования,вамнеобходимосформулироватьтребованияктестам.
1. Подумайте о том, какой тип продукта вы изучаете и какие устройства будут использоваться длявзаимодействия с ним.
Выищетеотзывынапрототип?Навыпущенноеилиневыпущенноемобильноеприложение?Сайт?Еслиувасестьнесколькопродуктовдлятестированияивыхотитепротестироватькаждыйизних,толучшеделатьэтовразноевремя — так выполучитеболееточныеотзывыопродукте.
Дополнительноепреимущество—поитогампервыхисследованийвыможетескорректироватьзаданиякпоследующимтестамиполучитьлучшийрезультат,чемеслибыпроверяливсюгруппупродуктоводнойметодикой.
ДлятестированиявамтакженеобходимобудетпредоставитьреспондентамURL ссылку на сайт илифайлисследуемогоприложения.
2. Определите целевую аудиторию своего продукта
Аудитория для определения основных проблем
Припроведениидистанционного тестирования пользовательского опытанаплощадкеUXCrowdвамненужносамостоятельноискатьучастниковисследования(респондентов).Все,чтоотвастребуется,этозайтивличныйкабинет,создатьновыйтестивыбратьвнастройкахтестажелаемыесоциально-демографическиехарактеристикиаудитории.
Вы можете провести тестирование пользовательского опыта для своего продукта на любом этапе разработки — от создания прототипа до финального решения
ТИП ПРОДУКТА
Прототип(винструментах,какAxure) Доступнаяссылка
Запущенноеприложение НазваниеприложениявAppStore/PlayStore
Статическоеизображение Ссылка на файл в файловом хранилище в интернете
НевыпущенноеприложениедляIOS .ipaфайл
Веб-сайт Доступнаяссылка
НевыпущенноеAndroid-приложение .apkфайл
ТОЧКА СТАРТА ТЕСТИРОВАНИЯ
6 Полное руководство по пользовательскому тестированию
Вбольшинствеслучаевдляотбораучастниковисследованиявамбудетдостаточноосновных демографических показателей(например,возраст,полиуровеньдохода).Еслиуваснетстрогихограниченийпоцелевойаудиториииливыпростохотитеопределитьбазовыепроблемыудобстваиспользованиявашегопродукта,тодемографическиепоказателиможновообщенезадавать.Основнаязадача—получитьсвежийвзгляднасвойпродуктивыяснить,действительнолилюдипоняли,какегоиспользовать.
Аудитория для глубинного исследования
Тестирование пользовательского опыта,проведенноенавашейцелевойаудитории,позволитвыявитьнетолькобазовыепроблемыудобствавашегопродуктаилистепеньпониманияпродуктапользователем,ноиудобствоиспользованияспецифическихфункцийвашегопродукта.
Длятакихтестовнужнаболее узкая целевая аудитория,например,ваммогутпотребоватьсялюди,которыеработаютвопределеннойотрасли,илихотяткупитьмедицинскуюстраховку,илизавестикакое-тодомашнееживотное,ит.д.
Набратьнужныхлюдейдлявашегоисследованияпомогутпредварительныеопросыилискрининг.Этоуточняющиевопросы,которыепозволятучаствоватьввашемисследованиитолькотемлюдям,которыевыберутправильныйответ.ЭтафункциядоступнаприиспользованиикорпоративногоаккаунтаUXCrowd.
ПРИМЕР ПРЕДВАРИТЕЛЬНОГО ОПРОСА:
Какчастовыпользуетесьинтернет-банком?
Несколькоразвнеделю
Несколькоразвмесяц
Практическинепользуюсь
Вотдельныхслучаяхвамможетпотребоватьсяпровеститестированиенаужесуществующихклиентахвашегопродуктаилисервиса,например,чтобыпроверитьрасширенныефункциивашегопродукта,которыечеловек,неявляющийсявашимклиентом,непоймет.
СОВЕТ ДЛЯ ИССЛЕДОВАТЕЛЯ:
Чемменьшеограниченийдляцелевойаудиториивыпоставите,тембыстреевыполучитерезультаты,потомучтобольшелюдейсмогутучаствоватьввашемисследовании.
Как много участников привлечь к исследованию?
ИсследованияЯкобаНильсенадоказывают,чтопяти пользователей достаточно для выявления 85%проблемудобстваиспользованияпродукта.Неподдавайтесьискушениюудвоитьилиутроитьколичествопользователей,чтобыраскрыть100%вашихпроблемсудобствомиспользования.Эффективнейипрощезапуститьисследованиеспятьюучастниками,внестиизменения,послечегозапуститьещеодноисследованиенадругихпятипользователях,итакдалее.
UXCrowdрекомендуетиспользоватьпять-восемьучастниковводнойтестовойгруппе.Еслиувасестьтриразличныхпродукта,тодляисследованиябудетдостаточноот 15 до 24участников.
Но,разумеется,этонеотноситсякслучаям,когдавыхотитепонятьзакономерностиповеденияпользователейинайтиновыеидеидляразвитияпродукта:вслучаях,когдавамнужныстатистическизначимыерезультаты,большойразмервыборкипростонеобходим.
Другие идеи
Есливасинтересуютметодыдляболееглубокогоизученияпродукта,тоисследованияэтимиметодамитожевозможнопроводитьдистанционно:
Лонгитюдные исследования: наблюдениезапользователемвтечениедлительноговремени(несколькодней),чтобыпонять,каконпользуетсяисследуемымпродуктомвреальнойжизни.
Сравнительное исследование: тестированиевашегопродуктаипродуктаконкурентов,последующийанализполученныхданных,выявлениесильныхсторонконкурентаирекомендациипоулучшениюпродукта.
Исследование без технических устройств: наблюдениезаповедениемчеловекавразныхусловиях,например,наблюдениезапоискомпродуктоввсупермаркете,илизараспаковкойразличнойпродукции.
Модерируемые исследования: проведениеисследованиявлабораториисоспециалистом,с использованием платформы UXCrowd.
Регулярные исследования: отслеживаниеизмененийвпользовательском опыте вашего респондента ежемесячно или ежеквартально.
Чтобыузнатьбольшеотом,какикогдаиспользоватькаждыйизэтихметодов,обратитеськнашимэкспертам.
7 Полное руководство по пользовательскому тестированию
Создайте свой план тестированияПлан вашего тестирования – этосериязадач,которыереспондентыбудутвыполнятьвовремяисследования.
Ключомкхорошопроведённомутестированиюявляетсяправильноразработанныйплан.Успешносоставленныйплантестированиядаствамкачественныеотзывыовашемпродукте.
Плансостоитиззаданий,которыепредстоитвыполнитьпользователям.Послевыполнениязаданийвытакжеможетепопроситьпользователейответитьнадополнительныевопросы.
Вопросы и задания
Задание-этодействиеилидеятельность,которуювыхотите,чтобывыполнилпользователь.
Пример задания: начнитепроцессоформлениязаказа,дойдитедопоследнегоэтапаоформления,нонепокупайтетовар.
Задавайте пользователям дополнительные вопросы после заданий, еслихотитеполучить«горячую»обратнуюсвязьопользовательскомопыте.
Пример вопроса: чтобылодляваструднымилинепонятнымвовремявыполненияданногозадания?
Задавайте вопросы, чтобы получить количественные данные:
Вопросыполезны,когдавыпроводитебольшоеколичественноеисследованиеихотитебыстрораскрытьосновныепроблемы.Вэтомслучаеответыреспондентоввыполучитеввидетаблиц,которыесможетебыстропросмотретьипроанализировать,ивамнепридётсятратитьднинапросмотркаждоговидеопо-отдельности.Такимобразомвысможетесразусосредоточитьсянаглавныхвыявленныхпроблемах.
Послесозданиятестамырекомендуемпотратитьнесколькоминут,вспомнитьизначальнуюцельтестированияипонять,какойформатрезультатовбудетнаиболееудобенвамдляработыипоследующегоанализа. Подумайте и ответьте на следующие вопросы: Выхотитеполучитьколичественныеданные,чтобысоздаватьграфикиилиполноценныйотчётсрекомендациямипоисправлениюпроблем?Вамважныписьменныеотзывыпользователейдлясамостоятельногоанализаилипростовидеопройденныхтестирований?
Пример вопроса с вариантами ответа:Вамбольшенравятсякошкиилисобаки?Пожалуйста,аргументируйтевашответ.
Мнебольшенравятсякошки
Мнебольшенравятсясобаки
Нетпредпочтений
Посмотреть видео с записью тестировщиков
Мнебольшенравятсякошки(12)
Мнебольшенравятсясобаки(8)
Нетпредпочтений(10)
РЕЗУЛЬТАТЫ: ВАМ БОЛЬШЕ НРАВЯТСЯ КОШКИ ИЛИ СОБАКИ? ПОЖАЛУЙСТА, АРГУМЕНТИРУЙТЕ ВАШ ОТВЕТ.
8 Полное руководство по пользовательскому тестированию
Впервойколонкетаблицыописанытипывопросов,вовторойпоказаныпримерыэтихвопросовиответовнаних,втретьейописаныситуации,когдаиспользуютсяэтивопросы.
Создать цепочку задач
Ключксборукачественнойобратнойсвязи–последовательноевыполнениеконкретныхзаданийвсемиучастникамитеста.Задания-эторяддействий,которыевыпроситепользователейвыполнитьсвашимприложением,сайтомилипрототипом,параллельнокомментируявслухсвоимыслиидействия.
Присозданиизаданийдлятестирования,сосредоточьтесьнаоднойопределённойцелидляпроверки.Есливвашемпродуктемногоразличныхмоментовтребующихтестирования,лучшенеобъединятьих,апротестироватьпо-отдельности,чтобыпользовательнезапуталсяибылсосредоточеннаконкретнойзадаче.Вбольшинствеслучаев,дистанционноетестирование пользовательского опытадлитсяоколо15-20минут —этооптимальноевремя,закотороепользовательнеуспеваетустать,имейтеэтоввиду.
Использование общих и конкретных задач в тестах
Общие задачи
Общие задачипомогутвамузнатьмнениевашихпользователей.Этоттипзадачполезенприисследовании«ценностей»,влияющихнапользовательскийопыт:онидаютвамвозможностьоценитьудобствоипростотуиспользования,содержание,эстетику,атакжеузнатьэмоциипользователей,связанныесвашиминтерфейсом.
Общиезадачитакжехорошидлянаблюдениязапользователемвестественнойсреде.
Вот пример задания для такого типа задач: Найдитеотель,вкоторомвыхотитеостановитьсявтечениеотпускавСочивследующеммесяце.Поделитесьсвоиммыслямивслух.
СОВЕТ ИССЛЕДОВАТЕЛЮ:
Когдавынезнаете,начёмконкретносфокусироватьзадачитеста,попробуйтезапуститьтестированиесиспользованиемобщихзадачимаксимальноширокойаудиторией.Заданиевэтомслучаеможетзвучатьтак:«Поработайте с этим приложением так, как вы обычно это делаете, около 10-15 минут, комментируя свои мысли вслух». Благодарятакомутестированиювысможетеобнаружитьнаиболеепроблемныеиуязвимыеместавсвоеминтерфейсеисфокусироватьсянаихизучениивследующемболеецеленаправленномтесте.
Конкретные задачи
Конкретные задачипомогаютточноопределить,гдепользователизапуталисьилибылиразочарованы,пытаясьсделатьчто-токонкретное.Такиезадачиполезны,когдавыточнознаете,какуюзонуилифункционалвашегопродуктавыхотитепротестировать,ивамнадоубедиться,чтоучастникивзаимодействуютснимиправильно.
Вот пример задания для конкретной задачи: Используйтестрокупоиска,чтобынайтиотеливСочи,указав,чтовамтребуетсядвухместныйномердлянекурящихс10по15июля.Затемотсортируйтерезультатыпорейтингу.
ТИП ПРИМЕР ВЫГОДА
Вербальныйответ
Выборизпредложенныхвариантовответа
Оценочнаяшкала
Письменныйответ
Опишите,чтовамбольшевсегонепонравилосьвтестируемом
приложении(сайте)
Доверяетеливыэтойкомпании?
•Да • Нет
Каковавероятностьтого,чтовывернетесьнаэтотсайтснова?
От“никогданевернусь”до“оченьвероятно”
Есличто-то,чегонехватаетнаэтойстранице?
Отличноподходитдлясбораоднозначныхответов.
Хорошоподходитдлясборапорядковыхпеременных
(Порядковыепеременныепозволяютранжировать(упорядочить)объекты,
указавкакиеизнихвбольшейилименьшейстепениобладаюткачеством,выраженным
даннойпеременной.Однакоонинепозволяютсказать
“насколькобольше”или“насколькоменьше”.)
Хорошодляанализа,пост-исследованияисбораоценокдля
пользовательскихсценариев.
Даёткачественнуюобратнуюсвязь.
9 Полное руководство по пользовательскому тестированию
Планируйте задачи последовательно: от более общих к более конкретным Структуравашегоисследованияимеетважноезначение.Мырекомендуемначатьсобщихзадач(исследованиеглавнойстраницы,использованиепоиска,добавлениетоваравкорзину)идалеепостепенноихконкретизировать.Чембольшевашапоследовательностьзадачбудетпохожанареальныйсценарийиспользования,темболеереалистичнымбудетисследованиеитемлучшебудутваширезультаты.
Пример плохой последовательности задач:Создатьучетнуюзапись>найтинужныйэлемент>оценитьправильностьработы>воспользоватьсяпоискомпосайту>оценитьвозможностинавигации.
Пример хорошей последовательности задач:Оценитьвозможностинавигации>воспользоватьсяпоискомпосайту>найтипункт>создатьучетнуюзапись>оценитьправильностьработы.
Еслиречьидётосвободномиспользованиипродукта,дайтеучастникамвозможностьдействоватьнасайтепо-своему.Ноесливыхотитепроверитьконкретнуюкнопкуилиформунасайте,тонаправьтетудапользователейприпомощиконкретныхзаданий.
Есливасинтересуютобатипаисследований,дайтепользователямвозможностьсначаласамостоятельнонайтито,чтоихинтересует,апотомдайтеимзаданиесчёткимиинструкциями.Еслинеобходимо,добавьтекописаниюзаданияинструкциюпонавигации,чтобыучастниктестированиябезпроблемсмогнайтиместо,откудаонможетперейтиквыполнениюпоставленногозадания.
Дляуспешноговыполнениятеставаженправильныйпорядокрасположениязаданийпосложности.Вначалетестированияпоставьтесамыепростыезадания,чтобыпользовательлегковниквназначениевашегопродуктаипочувствовалсебяуверенно.Далеерасположитезаданиянемногоболеесложные,потомпоставьтезаданиявысокойсложности.Такпользовательпостепеннобудетподготовленквыполнениюсложныхзаданий.
Не пишите слишком длинных заданийИзвестно,чтолюдиредкочитаюттекстполностью,чащевсегооничитаютчерезстрочкуиливообщенедочитываютдоконца.Поэтомустарайтесьнеделатьзаданияслишкомдлинными-короткийтекстнавернякабудетпрочитан.
Пример плохой формулировки задания:“Добавьтетоварвкорзину.Теперьвыберитедругойэлементидобавьтееговкорзину.Затемизменитеколичествопервогоэлементаот1до2.Теперьпройдитечерезвесьпроцессоформлениязаказа,используяследующуюинформацию...”
Пример хорошей, краткой формулировки задания:Заданиеизпредыдущегопримерамырекомендуемразделитьнанесколько(внашемслучае4)короткихзаданий:
1. Добавьтетоварвкорзину.
2. Выберитедругойтоваридобавьтееговкорзину.
3. Изменитевкорзинеколичествопервоготоварас1на2штуки.
4.Теперьпройдитепроцессоформлениязаказа
10 Полное руководство по пользовательскому тестированию
Составляйте понятные вопросы
Послетого,каквынаметилипоследовательностьзаданийдляпользователей,пришловремяприступитькнаписаниювопросовдлявашеготестирования.
Важноструктурироватьвопросыточноикорректно,чтобыпользовательихправильнопонялисмогхорошоответитьиливыполнитьдействие,скрытоеввопросе.
Советы для сбора фактических ответов
Старайтесьизбегатьпрофессиональногожаргона,например,слов«поднавигация»и«нативный»ит.д.Вероятнеевсегообычныйпользователь,неимеющийспециальногообразования,непоймётвашеговопроса.Выможетеиспользоватьтакиеслова,вслучаееслиуверены,чтовашетестированиенацеленонатакуюаудиторию,котораяваспоймет.
Исключениясоставляютисследования,цельюкоторыхявляетсяпроверкановыхтерминовдляиспользованиявпродукте.Втакихслучаяхвамнеобходимомнениепользователей,неимеющихотношениякобластипримененияпроверяемыхслов.
Есливопросноситхарактерчастотыиспользованиячего-либо,например,какчастопользовательпосещаетопределенныйсайт,убедитесь,чтовычеткоопределилисроки.Всегдаставьтевременнуюшкалувначалепредложения.
ПЛОХО:КакчастовыпосещаетеOzon.ru?
ЛУЧШЕ:КакчастовыпосещалиOzon.ruвтечениепоследнихшестимесяцев?
ОТЛИЧНО: Втечениепоследнихшестимесяцев,какчастовыпосещалиOzon.ru?
Послетого,каквынаписалиэтотвопрос,рассмотритевозможныеответы,задайтеэтотвопроссвоимколлегамилидрузьямипосмотрите,чтоонивамответят.Еслионидалинеопределённыйответ,типа:«по-разномубывает»,товашвопроснужноконкретизировать.Лучшевсегоспрашиватьоличномопытепользователя.
Люди,какизвестно,частозатрудняютсяответить,чтоонибудутделатьзавтраиликакиеунихпланынавыходные,поэтомулучшеспрашиватьотом,чтоониужесделали,анеотом,чтобудутделать.Этоневсегдавозможно,нонужностаратьсяизовсехсил,чтобыизбегатьгипотетическихинеуверенныхответов.
Пример того, как узнать о том, что кто-то будет делать: Каквыдумаете,вближайшиешестьмесяцевкакчастовыбудетепосещатьэтотсайт?
Пример того, как узнать о том, что кто-то уже сделал: Запоследниетримесяца,какчастовыпосещалиэтотсайт?
Пример вопроса, ответ на который основан на слухах:КакчастоваширодителизаходятвFacebook?
Лучший пример: Незадаватьэтотвопросиспроситьродителейнапрямую!
11 Полное руководство по пользовательскому тестированию
Советы для сбора субъективных данных
Дляточногосборамненийпользователейвдистанционномисследовании,убедитесь,чтовсеучастникивыполнялиодниитежезадания.
Задачитестированиятакжедолжныбытьстандартизированы.Длятого,чтобыпроконтролировать,чтовашиучастникирешаютодинаковыезадачидляодинаковойцели,напомнитеимотом,какиестраницыонидолжныискать,когдавыполняютзадание.Например,“Теперь,когдавынаходитесьвменю“Моиконтакты”,какимитремясловамивыможетеописатьэтотраздел?”
Вынеоцениваетеинтеллектвашихреспондентовприанализерезультатов,поэтомуубедитесь,чтовопросынезаставятихчувствоватьсебянеудобно.Повесьтевинунапродукт,аненаучастникатеста.
Плохой пример:“Ябылоченьрастерянизапутан”(согласен/несогласен)
Хороший пример:“Сайтзаставилменячувствоватьсебяпотеряннымизапутанным.”(согласен/несогласен)Рейтинговаяшкаладолжнабытьреалистичной,объективнойииметьравнозначноеколичествоградацийпошкалевобестороны.
Плохой пример:“Послепрохожденияпроцессапроверки,вкакойстепенивыдоверяетеилинедоверяетеэтойкомпании?”“ЯнемногонедоверяюЯдоверяюейсвоюжизнь”(ответ«Ядоверюейсвоюжизнь»поэмоциональнойокраскегораздоболеесильный,чем«Янемногодоверяю»)
Хороший пример:“Послепрохожденияпроцессапроверки,вкакойстепенивыдоверяетеилинедоверяетеэтойкомпании?”“ЯсовсемнедоверяюэтойкомпанииЯоченьдоверяюэтойкомпании”(вданномслучаеобаответаравнозначныпоэмоциональнойсиле)
Субъективныеоценкиявляютсяотносительными.“Тепло”водномконтекстеможетсильноотличатьсяотслова“Тепло”вдругомконтексте.
Например:
ТЕПЛО
ТЕПЛО
ТЕПЛО
ОЧЕНЬ ТЕПЛО
ХОЛОДНО
+20
+20
+20
+30 +10
+10
0
0
0
-10
ХОЛОДНО
ХОЛОДНО
ОЧЕНЬ ХОЛОДНОНОРМАЛЬНО
НОРМАЛЬНО
ТЕПЛО=противоположностьХолодно
ТЕПЛО=Лучшийвариант
ТЕПЛО=Лучше,чемнормально,нонесамыйлучшийвариант.
12 Полное руководство по пользовательскому тестированию
Избегайтезадаватьнеопределенныеиликонцептуальныевопросы.Например,представьте,чтовыхотитеизмеритьудовлетворенностьродителейотдетскогообучающегоонлайн-портала.“Удовлетворенность”являетсярасплывчатымисложнымпонятием.
Достаточнолиинформациинапортале?Удобнолиорганизованоонлайн-взаимодействиемеждупреподавателямиистудентами?Нравитсяливамдизайн?Устраиваетваскачествоисложностьзаданий,размещенныхтам?
Вместотого,чтобыспрашиватьобобщейудовлетворенности,спроситеобовсехкритерияхнезависимодруготдруга.Прианализерезультатов,выможетесоздатькомпозитныйрейтинг“удовлетворенности”,основываясьнарезультатахболеемелкихзаданий.
Избегайте наводящих вопросов
Наводящимивопросамивывлияетенаответыучастников,таккаконисодержатподсказкивсвоихформулировках.Чащевсеговыбудетеподсознательновлиятьнарезультатыответоввтомнаправлении,котороеличнопредпочитаете.
Наводящиевопросыприведуткнеточнымрезультатам,ивынеузнаетечто-тодействительнополезное.Этоможетпривестиваскошибочнымрешениям.
ПЛОХО:“Наскольконоваяверсиялучше,чемпредыдущаяглавнаястраница?”
ХОРОШО:“Сравнитеновуюверсиюглавнойстраницыиоригинал.Какуювыпредпочитаете?”
СОВЕТ ИССЛЕДОВАТЕЛЮ:Есливыспрашиваетеобуспешностивыполнениязадания,незабудьтеопределить,чтотакоеуспех.ЕсливпредыдущемзаданиипользователюнадобылонайтипланшетнаOzonидобавитьеговкорзину,ивызадаётевопрос:“Вамудалось?”обязательноуточните-выспрашиваетеопоискепланшетаилиодобавленииеговкорзину?
13 Полное руководство по пользовательскому тестированию
Лучшие практики для различных типов вопросов
РейтингРейтинговая шкала позволяетизмерятьспектрреакцииучастников.Этоотличныйспособтестироватьобщиезадачиисравниватьполученныерезультатысаналогичнымтестированиемпродуктавашегоконкурента.
Используйте относительные экстремумы:отрицательныйответимеетсамоенизкоечисловоезначение,аположительныйответсамоевысокое.Другимисловами,«трудно»=1,а«легко»=5,аненаоборот.
Не пользуйтесь разным набором терминов во время теста! Используйтеодниитежетерминыиформулировки,когдавыповторяетевопрос.
Задавайте вопрос "почему?" после вопросов с множественным выбором ответов или вопросов, где пользователям надо оценить что-либо по шкале. Таким образом вы побуждаете людей мыслить критически и сможете проанализировать, как участники обсуждают свои ответы.
Письменный ответ
Письменные ответы позволяютвамполучитькраткиезамечанияотпользователейвписьменномвиде,ихчастоиспользуютдлясборавпечатленийимнений
Задавайте вопросы, на которые можно ответить парой слов или предложений. Необходимостьпечататьдлинныеответынегативновлияетнаучастников,особенноеслитестированиепроходитнамобильныхустройствах.
Хороший пример:Какимитремясловамивыможетеописатьэтоприложение?
Не используйте слишком много вопросов, требующих письменных ответов. Возможностьполучитьписьменныеответыучастниковоихмысляхидействияхимеетбольшоезначениедлядистанционноготестирования пользовательского опыта.Письменныевопросыхорошидляполучениясрезавпечатленийпользователей,но,еслиэтимзлоупотреблять,качествоответовначнетухудшатьсяужепосленесколькихвопросов.
Создайте облако слов (тегов)изответоввашихпользователей,чтобыбыстроувидеть,какиесловаонииспользуютдляописаниясвоегоопытачащевсего.
Варианты ответаВыбор вариантов ответа долженбытьисчерпывающим,аэтоозначает,чтовсевозможныеответыдолжныбытьвключеныввашвыбор.Втожевремя,выхотитеполучитьразумноечислоответов.Мырекомендуемпредлагатьотдвухдошестивариантовответанавопрос.Есливыподозреваете,чтонаданныйвопросестьслишкоммноговариантовответа,сделайтевсевозможное,чтобыугадать,какиевариантыбудутупомянутычащеостальных,адляостальныхоставьтевариантответа“Другое”.
Задавайте только один вопрос за один раз.Необъединяйтемноговопросовводин.Плохой пример:“Вынашлипланшет,которыйискали,ибыллионтам,гдевыожидалиегонайти?” Вместоэтогоразбейтетакойвопроснадваотдельныхвопроса.Хороший пример:“Вынашлипланшет,которыйискали?”“Нашлиливыпланшеттам,гдеожидалиегонайти?”
14 Полное руководство по пользовательскому тестированию
ВUXCrowd,выможетелегкозапуститьодинтест,проанализироватьего,азатемдобавитьбольшеучастниковдляэтогожеисследования.Есливамнужновнестиизменения,выможетескопироватьисследованиеоднимнажатиемкнопки,азатемредактироватьзадачииливопросыпомеренеобходимости.
Составлениеипросмотрсвоихзаметоквконцекаждогоисследования–этохорошаяпрактика,котораяпозволитопределитьвсеслабыесторонытестаиулучшитьзаданияиливопросыдляследующеготестирования.Вдолгосрочнойперспективеэтосэкономитвамвремя,особенноесливыпроводитетестированиепрототипов,азатемувеличиваетеколичестволюдейдляэтогожетестапослевнесенияизменениявсвойвеб-сайтилиприложение.
Ещеоднапричинапотратитьвремянасоставлениеправильныхвопросов–возможностьсобиратьданныедлясравнительногоисследования,анализируя,какменялисьответыпользователейотверсиикверсиисайта.Призапускесравнительноготеставынедолжныменятьвопросывтечениедолгоговремени,иначерезультатыбудутискаженыиточныесравнениябудутневозможны.
Пробное тестирование
Передтемкакначатьисследованиенавсехучастниках,мырекомендуемзапуститьпробноетестирование(иногданазываемоепилотным)соднимилидвумяпользователями.Этопоможетвамопределить,существуютликакие-либонедостаткиилизапутанныеинструкциивнутривашеготеста.Основнаяцель-убедитьсявтом,чтолюди,которыечитаютвашизадачиивопросы,поймутихдолжнымобразом.
Вот хороший план для пилотного теста:
Запуститеисследованиедляодногоилидвухучастников.
Послушайтекакониработаютсвашимизадачамиивопросам,ипроанализируйте,скакимипроблемамионистолкнулисьприпопыткевыполнитьэтоттест.
Послетого,каквывнесликоррективыивыуверенывтесте,мырекомендуемпровестифинальныйпилотныйтестещёнаодномчеловеке,чтобыубедиться,чтовыубралилюбыенепонятныеилинаводящиевопросы.
1
2
3
15 Полное руководство по пользовательскому тестированию
Остерегайтесь ошибокЕстьнесколькораспространенныхошибок,искажающихданныетестирования пользовательского опыта.Хорошаяновостьзаключаетсявтом,что,есливызнаетеоних,выможетеихизбежать.Нижемыприводимнаиболеераспространенныетипыошибок.
Ошибка выбора аудиторииОшибкавыборааудиториивозникает,когдавывыбираетенеправильныхучастниковдлявашегоисследования.Еслиэтопроизойдет,вырискуетеполучитьответыпользователейнеизвашейцелевойаудитории,чтонапрямуюотразитсянарезультатахтестирования.
Например,вашцелевойрыноквключаетвсебя«ОтделпродажSaaS»,поэтомувыищетелюдей,которыеработаютвпродажахпрограммногообеспечения,нофактическимиучастникамистановятсятестапродавцымагазиновэлектроники.
РЕШЕНИЕ:
Задайтечеткиеиточныевопросы,чтобыквалифицироватьпотенциальныхучастниковисследования.Есливынеуверены,точноливашивопросызахватываютнужныхпользователей,сделайтепробныйзапускснебольшимколичествомучастниковилиобратитеськэкспертамсервисаUXCrowd.
В качестве первого шага в вашем исследовании, попросите их описать вслух, чем они зарабатывают или насколько хорошо онизнакомысвашимпродуктом,илииспользуйтелюбойдругойкритерий,которыйпоможетвамопределить,являютсялионинасамомделевашимцелевымрынком.
Ошибка в формулировке вопросаПриэтомтипеошибокучастникинепонимаютформулировокзаданийиливопросов.Участникичастопринимаютинструкциибуквальноиищутнасайтеточныетерминыизвашихзаданий.
РЕШЕНИЕ 1:Проведитевашеисследованиеснесколькимилюдьмииследитезаихреакциейнавашивопросы.Выбыстропоймете,приводятливашивопросыкожидаемымдействиямпользователейилинет.
РЕШЕНИЕ 2: Изучитеособенностивашейцелевойаудиторииизадавайтевопросынаязыке,понятномвашейцелевойаудитории.Используйтепростойязык.Сленг,жаргон,диалектизмыиречевыеоборотымогутлегкозапутатьучастниковвовремяисследования.
16 Полное руководство по пользовательскому тестированию
Ошибка тестировщика
Вэтомслучаеучастникидаютвамнеточнуюилиложнуюинформацию.
Естьнесколькопричин,покоторымэтоможетпроизойти:
• Онинедоверяютвамсвоюличнуюинформацию.
• Имнеудобноделитсядеталямисвоейличнойжизни.
• Ониусталииприбегаюткфиктивнымответам,чтобыпройтитестбыстрее.
• Онинепонимают,нужноливамихмнениеили“правильный”ответ.
РЕШЕНИЕ 1:
Убедитеучастников,чтоихответынебудутдоступнытретьимлицам.
РЕШЕНИЕ 2:
Всамомначалесвоегоисследованиянезабудьтеобъяснить,что,еслиимнужнозаполнитькакую-либоличнуюинформацию,ихответыбудутконфиденциальны.
РЕШЕНИЕ 3:
Пустьваштестбудеткоротким(около15минут),так,чтобывашиучастникинеуспелиустать.
Ошибки в отзывах участниковЭтиошибкивозникают,когдаучастникневсостоянииправильновспомнитьотехсобытиях,окоторыхвыспрашиваете.Этопроисходит,когдавашвопросзаставляетихвспомнитьчто-тоиздалекогопрошлогоилитребуетслишкоммногодеталей.
РЕШЕНИЕ1:
Есливыспрашиваетеотзывучастникаодействиинавашемсайтеиливприложении,задавайтевопроссразупослезаданиясэтимдействием.
РЕШЕНИЕ2:
Есливыспрашиваетеучастникаокаком-тособытииизегожизни—проверьтенасвоихколлега,насколькореалистичныеданныемогутдатьвамлюди.Есливывидитечтолюдизатрудняютсясответом—пересмотритевопрос.
Ошибки «общественного мнения»
Участникичувствуютдавление,когдаотвечаютнавопросы,поэтомуонистараютсядаватьответы,наиболеепозитивновоспринимаемые«обществом»,дажееслиэтонесоответствуетдействительности.
Например,есливыспросителюдейобихтехническихпознаниях,онимогутпривратьосвоихспособностях,потомучтобудутдумать,чтоэто“лучше”,чемвовсенебытьтехническиподкованным.
РЕШЕНИЕ 1:Когдавыищетеучастниковтестирования,незабудьтеобъяснитьим,чтовынадеетесьузнать,будетливашпродуктполезнымдлятакихжелюдей,какони.
РЕШЕНИЕ 2:Убедитевашихучастников,чтоихответыостанутсяанонимными.
Ошибка молчаливого согласияУчастникскажетвамто,чтовыхотитеуслышать,изстрахаоскорбитьвас.Например,вашеприложениеможетемуненравиться,нооннехочетзаставлятьвасплоходуматьосвоейработе,поэтомускажет,чтоприложениехорошее.Этаошибкабольшераспространенавтестахсприсутствиеммодератора,чемпри дистанционном тестировании.
РЕШЕНИЕ 1:Есливыслишкомблизкикпродукту(например,есливыдизайнер), выможетиспользоватьбеспристрастногомодератора,чтобыонотредактировалвопросы.Опытныеисследователимогутпомочьобеспечитьбеспристрастностьиснижениебарьеровдляполученияболееправдивыхответов.
РЕШЕНИЕ 2:Убедитеучастников,чтовыценитеихоткровенностьичестность,ичтониодинизихотзывовнебудетприниматьсявами наличныйсчет.
17 Полное руководство по пользовательскому тестированию
Проанализируйте свои результатыПослетогокаквызапустилиисследованиеиполучилирезультаты,пришловремяприступитькиханализу.Передтем,каксделатьчто-нибудь,вновьвспомнитеоцеливашегоисследования,потомучтоееоченьлегкоупуститьизвиду.
Цельпоможетвамсосредоточитьсяинеотвлекатьсянапосторонниевыводы.(Темнеменее,выможетесохранитьнекоторыезаписиобинтересныхнаблюдениях,которыенесвязанысзадачей,номогутоказатьсяполезнымивдальнейшем).
ЧТО ИСКАТЬ
Использование результатов исследований всеми участниками команды продукта поможет вашей компании сфокусироваться на пользовательском опыте.
Когдамырассматриваемзаписипользовательскихтестов,мычастоделаемзаметкипоходудействия.Этизаметкиможнопривязатьксоответствующиммоментамвидео,такчтовыможетелегковернутьсякинтересныммоментампозже.
Когдавыпросматриваетеданныеизписьменныхвопросов,обращайтевниманиенаответы,отклоняющиесянормы.Еслидевятьучастниковполагали,чтозадачабыладовольнолегкой,аодинутверждает,чтоонабылачрезвычайнотрудной,внимательнопосмотритевидеоэтогоучастникаипоймите,чтовопытеэтогоучастникабылопо-другому?
Обращайтевниманиенато,чтовызвалонедовольствопользователей,атакженатеэлементы,которыепользователипосчиталиособеннополезнымиилиинтересными.Подобныевещизатемможновынестидляобсуждениявкомандепроекта,иэточастопомогаетвыявитьвозможностидляулучшениябудущегорелиза.Важноопределитьто,чтолюдямнравится,инепытаться“исправить”то,чтоитакхорошоработает,припопыткеулучшитьвосприятиевашегопродуктапользователями.
Исследуйте корреляцииПри рассмотрении рейтинговой шкалы с несколькими вариантами ответов, обратите внимание на корреляции между продолжительностью времени, потраченного на выполнение задания, и отрицательными ответами участников. Это является отправной точкой для определения наиболее проблемных областей в вашем дизайне, которые могут негативно отразиться на пользовательском опыте.
Важно помнить, однако, что корреляция открывает не всю картину. Не спешите с выводами, основанными на одних только корреляциях: не забудьте посмотреть соответствующие моменты видео, чтобы услышать, что участники думают.
1
2
3
18 Полное руководство по пользовательскому тестированию
ТАБЛИЦЫСобирать,анализироватьиделитьсясвоимивыводамиможнопрямовличномкабинетеUXCrowd.Темнеменее,есливыобнаружите,чтовыхотитевыполнитьболеедетальныйанализ,выможетевыгрузитьданныевтаблицуExcel.Этобудетособеннополезнодлясоставлениявыводовнаосновемногочисленныхисследованийсбольшимколичествомучастников,исравненияответовотразличныхдемографическихгрупп.
Поделитесь своими выводами
Исследованиепредназначенодлясовместногоиспользования!Послетогокаквысформулироваливашивыводы,пришловремяпредставитьихдляобсуждениявсемзаинтересованнымисторонами.Вбольшинствеслучаевэтоозначаетпроведениесовещаниясзаинтересованнымидепартаментамииобменвыводамивпрезентации.
Вотнесколькоидейдляуспешнойзащитырезультатоввашегоисследования:
Создайтесериювидеоклипов.
Используйтедиаграммы,чтобыпредставитькакие-либоинтересныеданныеизвашихвопросов.
Подтвердитепретензиипользователейцитатамиизисследований.
Используйтеоблакослов,чтобыотобразитьнаиболеечастовстречающиесяслова,используемыенапротяжениивсегоисследования.
Будьтеосторожныиневозлагайтевинунакого-тоизвашихтоварищейпокоманде.Еслиувасестьмногонегативныхвыводов,тщательноподбирайтеслова.“Пользователейразочаровалаэтафункция”звучитгораздолучше,чем“Этафункцияужасна”.
Поощряйтечленовкоманды,задавать вопросыорезультатах,нонапоминайтеим,чтоимненужнооправдываться.Ониздесь,чтобыузнатьовосприятиипродуктапользователями,анезащищатьсвоипроектныерешения.
Совместноеиспользованиерезультатовисследованийсколлегамиихразныхотделовможетбытьотличнымспособомпродвигатьориентированнуюнапользователякультуруввашейкомпании.
Совместноеиспользованиерезультатовисследованийсколлегамиизразныхотделовможетбытьотличнымспособомпродвигатьориентированнуюнапользователякультуруввашейкомпании.
19 Полное руководство по пользовательскому тестированию
ВыводМырекомендуемвамсделатьдистанционноетестированиепользовательского опыта стандартнойчастьюпроцессаразработки.Отзывыпользователейимеютрешающеезначениедляпроектированияиразработкиуспешногопродукта,аудаленноеисследованиепозволяетбыстроилегкополучитьих.
Счеткойцелью,правильнымизадачами,итщательноспланированнымиисформулированнымивопросами,высможетесобратьполезные,действенныеидеи.
Независимооттого,планируетеливыпроводитьвашиисследованиясамостоятельноилизаручившисьпомощьюисследовательскойгруппыэкспертовUXCrowd,вывлюбомслучаенапутикулучшениюпользовательскоговосприятиявашегопродукта.
20 Полное руководство по пользовательскому тестированию
СОЗДАНИЕ НОВЫХ ВПЕЧАТЛЕНИЙ!
UXCrowd — это самый быстрая и самая продвинутая платформа
на российском рынке тестирования пользовательского опыта. Мы даём
маркетологам, продукт-менеджерам, а также командам UX доступ к
тестированию
веб-сайтов, мобильных приложений, прототипов на вашей целевой
аудитории! С помощью UXCrowd вы сможете не только увидеть и услышать
мнения пользователей о вашем продукте, но и сделать свой бизнес гораздо
более ориентированным на позитивный пользовательский опыт!
121087, г. Москва, ул. Барклая, д. 6, стр. 5
+7 (499) 707-2939
contact@uxcrowd.ru
http://uxcrowd.ru