Рецепт еды для кошек или внутреннее тестирование в...
Transcript of Рецепт еды для кошек или внутреннее тестирование в...
Рецепт еды для кошек
или внутреннее
тестирование ворганизации
Светлана ХилькоGroupon Inc. Palo Alto, USA
linkedin.com/in/lanakhilko
Минск. 24-26 ноября 2016
Обо мне
• Около 2 лет в
Groupon Mobile QA
команде
• До этого работала в
Skype (Microsoft) и
небольшом стартапе
• Люблю
путешествовать
Терминология: почему «Еда для кошек»?
Бета• -тестирование *Бе́та-тести́рование — интенсивное использованиепочти готовой версии продукта (как правило,программного или аппаратного обеспечения) сцелью выявления максимального числа ошибок вего работе для их последующего устранения передокончательным выходом (релизом) продукта нарынок.
Dogfood (Собачья еда) = Бета тестированиеСленговый термин
Catfood (Кошачья еда) = Dogfood = Бета-тестирование
Терминология: почему «Еда для кошек»?
5
Получить обратную связь от пользователей дорелиза
Уменьшить количество багов на продакшн
Уменьшить количество патчей
Быть гибкими и постоянно улучшать приложение
Облегчить жизнь QA отдела
Построить организацию, где каждый сотрудник вовлечен и знает, что его мнение важно и реально влияет на процессы внутри организации
Цели Catfood (и бета-тестирования в целом)
Ингредиенты
*составная часть какого-либо сложного соединения илисмеси, присутствующая в готовом продукте в исходном
или изменённом виде
Ингредиенты
Платформа
Бета-тестировщики
Дополнительные инструменты
Ингредиент №1
Бета-тестировщики
Бета-тестировщики
Основа
• Возможностьиспользования продукта
• Доверие и прозрачность
• Заинтересованность
• Расписание/цикличность
Коммуникация
• Блог
• Email рассылка
• Быстрый ответ на КАЖДЫЙ отзыв
• Отчет о результатах
Мотивация
• Бонусы/скидки на покупки
• Призы, подарки
• «Доска почета»
• Публичная благодарность
Ингредиент №2
Подходящая платформа
Платформа: какой она должна быть?
Подходит вашему продукту
• Веб
• Мобильное
Легко интегрировать
• С юридической стороны
• С технической стороны
Совместима сразличными
инструментами
• С имеющимися инструментами
• С планируемыми в будущем
• Jenkins/CI
• HipChat/Slack
• Jira
• Splunk и т.д.
Почему мы выбрали testfairy.com
Специализация• Мобильное
тестирование
• Все платформы
Запись видео • Действия
пользователя в реальном времени
Легкая в использовании• Бета-тестером
• Аналитиком
Логи собираются в реальном времени
Есть метрики• Производительность
• Память
• Расход батареи
• API данные
Предоставляют hit-maps• Наиболее используемый
функционал
Легкая/не нужна вообще интеграция
Молодая команда
6 человек
2 года на рынке
БЕСПЛАТНО•Для небольших компаний
•Есть платная версия с расширенным функционалом
Testfairy демонстрация
Как установить
Как обновить
Как отправить отзыв
Testfairy предоставляет
Общие данные
• Текущая и предыдущиеверсии
• Количество пользователей
• Регионы
• Количество тест сессий
• Количество отзывов
• Количество крашей
• Устройства
• Активны в настоящиймомент
Данные по сессии
Email • адрес пользователя
Видеозапись• сессии
Лог файлы•
Краш репорты•
Линия времени с •указанием активного компонента приложения
Память•
Производительность•
Скриншоты•
Testfairy демонстрация
Общие данные
Данные по каждой сессии
Ингредиент №3
Дополнительные инструменты
JIRA
В течение суток с момента получения отзыва:
Скрипт (или вручную) создает Jira тикет на каждый отзыв
Команда поддержки в первые часы просматривает каждый тикет и присваивает компонент
QA просматривает свой компонент и принимает решение по тикету
Crashlytics
Анализ отправленных отзывов о крашах Анализ состоянии билда в целом
Splunk
Информация о
серверных ошибках
Приоритизация
багов