QUALITY RATING как идентификация готовности продукта к релизу
Тимофей СургученкоHead of QA, Parallels
О себе
• 2003 – н.вр. – работаю в Parallels
• Junior Tester -> Head of QA
Тимофей Сургученко
• 100+ департамент
• 10+ продуктовых линеек
• Parallels Desktop for Mac – главный продукт
О докладе
• Quality Rating – что это такое
• Основные преимущества
• Прочие плюшки
• Что нужно помнить
• Каких проблем избегать
Как все начиналось
• 6 лет назад• Уже не стартап в самом начале,
есть успешный продукт• Жесткое противостояние с
конкурентами
• Очередная версия • Делали-делали...
• А можно ли это показать пользователю?
Что такое Quality Rating
Простая числовая оценка уровня качества некоторых аспектов продукта
• Простая числовая метрика
• Выставляется тестерами
• Оценка уровня качества некоторых аспектов или компонентов продукта
QR as defined by Parallels
5 No problems at all.
Clearly ready to ship
1 Totally unusable/untestable
4 Can be shipped into production, but there are several non-critical issues
2Not OK even for
evaluation, blo/cri issues on main paths
3Can NOT be shipped into
production,
but is OK for evaluation
QR – степень готовности компонента к передаче конечному пользователю
Фокус на пользователя
QR помогает сфокусировать команду на конечном пользователе
Нет: - баги- требования- покрытие
Да:- комфорт
пользователя- простота,
целостность, юзабилити
- готовность к релизу
Коммуникации проще
Коммуникация с помощью QRов гораздо проще и понятнее
“Ну как там качество?”
QR = 2
Нашли 1 критический и 15 мажорных багов. Есть проблемы со скоростью рендеринга некоторых экранов. Клик по кнопке “Далее” в корзине иногда вызывает фатальную ошибку, не понятно почему. Функциональные тесты надо переделать после очередного изменения в корных компонентах...
Общее представление о качестве
Общее представление получить проще
4
5
2
3
Детали
Легко понять качество конкретных компонент и динамику
Какой QR?
QR – величина субъективная
QR – фокус на конечного пользователя
Субъективная оценка
QR необходимо хорошо обосновать
• Зависит от человека, его выставляющего
• Требует• хорошего менеджмента и
правильного выбора тестеров
• доверия между членами команды
• QR необходимо хорошо обосновать:• багами
• заблокироваными тестами
• и прочими объективными вещами
Какой QR?
QR = 1, если нас интересует процесс
QR vs процесс
QR – и качество процессов в том числе
• QR• качество продукта• и процесса
• Необходимо договариваться на берегу
• И жестко следовать договоренности
QR и разработчики
Не стесняйтесь отобрать фичу в тестирование
• “Я хочу погонять больше тестов”!
• “Я хочу проверить больше конфигураций”!
• “Я хочу пятерку”
• Разработчики не так эффективны как тестеры
QR vs KPI
Не делайте этого во имя мира в команде
• QR:• субъективен• ориентирован на
функционал, а не на его автора
• “живая” метрика
• Не может быть частью KPI
Резюме
1. QR – оценка уровня качества некоторых аспектов продукта
2. Преимущества:a. (!) фокусирует разработку и
тестирование на конечном пользователеb. упрощает коммуникацииc. позволяет быстро получить обзор
текущего уровня качества продукта
3. Помнить о том, что:a. заведомо субъективная оценкаb. требует правильного обоснованияc. не может быть частью командных или
индивидуальных KPI
Спасибо mailto: [email protected]: @sstims