Возможности аналитических решений для компаний топливно-энергетического комплекса
Оптимизация процесса тестирования с использованием...
-
Upload
aleksandr-meshkov -
Category
Software
-
view
28 -
download
0
Transcript of Оптимизация процесса тестирования с использованием...
Software quality assurance days20 Международная конференция по вопросам качества ПОsqadays.com
Минск. 24–26 ноября 2016
Мешков АлександрPerformance Lab. Москва, Россия
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Мешков Александр Performance Lab
Skype: alekslynxEmail: [email protected]
Пишу статьи в блоге: http://www.performance-lab.ru/blog
Докладчик:SQA Days - 18SQA Days - 19SQA Days - 20
Краткая информация
Улучшение процесса тестирования
PDCA
IDEAL
EFQM
DMAIC Model
Модель оптимизации
процесса тестирования
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Подходы к оптимизации процесса тестирования
Подход на основе моделей
Гибридный подход
Подход на основе аналитики Другие
IT\SW совершенствование
Совершенствование процесса
тестирования
CMMI, ISO 15504
Process models Content models
TMMi, TPI-Next
CTP, STEP
Анализ причин
GQM
Люди, навыки Стандарты
Инфраструктура и ПО Обучение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Отличие MBI и ABIАналитические подходы к оптимизации процесса тестирования используются для выявления проблем в рамках нашего процесса или продукта и установления дальнейших целей для его совершенствования.
Подход на основе моделей
Подход на основе аналитики
Детализация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Почему аналитический подход
• Подход на основе модели не решает точечных проблем
• Аудит и оценка зрелости это не одно и тоже
• Все хотят детальных рекомендаций, а не общих практик
• Аналитический подход позволяет целенаправленно решать конкретные проблемы
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Root Cause Analysis– сбор информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Cause Analysis (Root Cause Analysis Method) – подход для выявление скрытых (внутренних) причин, которые позволяют определить, почему произошел тот или иной инцидент (проблема).
Проблема
Первопричины (не может быть одна причина)
Работа с дефектами
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Тестировщик Разработчик
Заказчик
Шаги анализа
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
1. Определить проблему и ее влияние на общие цели2. Поиск вероятных причин3. Сбор информации и анализ вероятных причин4. Причинно-следственный анализ5. Предотвращение или минимизация любых
негативных последствий для поставленных целей путем выбора наиболее эффективных решений
Способы определения проблем для анализа:• PDCA• Анализ статистики• Ретроспективы
Сбор информации и анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Причины сдвига сроков внедренияПотеря времени в ч/д на команду
Всего потеряно времени
Тестовый контур предоставили не своевременно 12; 0,5, 0,2 12,7Длительный процесс подбора тестовых данных 10; 4;3 17Большое количество открытых дефектов 1;1;0,5;3;5;3 12,5Не соблюдение стратегии тестирования 0,2;0,4 0,6Необходимость внесения изменений в тестовые сценарии 1,2;3;2 6,2
Причинно-следственный анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Проблема
Группа Группа Группа
Группа Группа Группа
Причина
Причина
Причина
Причина
Причина
Причина
Причина
Причина
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков внедрения продукта
Специалисты Стандарты Оборудование
Менеджент
Отпуска
Взаимодействие
Координация подразделений
МощностиКонфигурацияИнтеграция с
эквайрингом
Требования ЦБ
Соблюдение SLA
Программное обеспечение
Конфигурация
Тестовое покрытие
Тестирование
Результат
Причинно-следственный анализ
Наличие дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков
внедрения продукта
Программное обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Обновление тестового контура
Доступность
СогласованиеСоблюдение стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т4
Т1, Т2Т3
Высокое влияние
Низкое влияние
Наличие дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков
внедрения продукта
Программное обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Доступность
СогласованиеСоблюдение стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т1, Т2Т3
Высокое влияние
Низкое влияние
Обновление тестового контура
Метод «Пять почему?»
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Проблема
Выработка решения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
1. Определить действия для решения первопричин:
• действие должно решать проблему, а не минимизировать или
иметь временных эффект
• действие должно быть выполнимо для команды
2. Оценить решение каждой первопричины
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
GQM (Goals Question Metric) - системный подход, позволяющий на основе определения измеримых целей процесса, продукта повышать эффективность процессов в соответствии с потребностями проекта или организации.
Цель
Вопрос Вопрос Вопрос
Метрика Метрика Метрика
Метрика Метрика
Метрика Метрика Метрика
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Установить целиЦели
определены Выберите процесс
Определение структуры, вопросов
и метрик
Выполнение
Сбор метрик
Анализ
Получение обратной связи
Ретр
оспе
ктив
а
Выработка рекомендаций
Определение задач
организации или проекта
Инициация
Фазы GQM
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Планирование
Формализация
Выполнение
Представление результатов
План
про
екта
Цели
Вопросы
Метрики Измерение
Ответы
Достижение целей
Сбор и обработка данных
GQM Планирование
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
GQM Определение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Объект Что исследуется?Цель Почему объект исследуется?Направление Какой атрибут исследуется?Выгода В чем перспектива исследования?Среда В каком окружение выполняется исследование?
Активности:Определение организации, процесса или
проекта, их проблем и целей
Определение измеримых целей
Создание GQM плана
Создание плана измерения
Создания плана анализа и начало работ
GQM Обработка информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Система поддержки измерений обеспечивает поддержку всех активностей по измерению процесса:
• Сбор данных по измерениям• Хранение данных• Поддержание данных в актуальном состоянии• Обработка данных по измерениям• Презентация • Переиспользование данных по измерениям в последующих циклах
Формы сбора
данныхБаза метрик Результаты
анализа Формализация
GQM Интерпретация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Подготовка обратной связи
Обсуждение и ревью полученных результатов
Формализация и фиксация полученных результатов
Выработка решений по оптимизации
Подготовка отчета по результатам измерения
Презентация результатов руководству
Метрики и измерения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Цель Вопрос Метрика
Достаточность ресурсов
Сколько задач команда тестирования не берет в работу?
Кол-во задач, взятых в работу от общего скоупа задачПроцент трудозатрат взятых задач в работу от общего числа задач
Насколько планируемое время соответствует фактическому?
Соотношение фактических и планируемых трудозатрат на тестирование релиза
На сколько увеличивается/уменьшаются объемы тестирования?
Объем задач по тестированию
Насколько часто закладываемое время на риски срабатывает?
Соотношение фактических и планируемых трудозатрат на тестирование релизаКол-во выявленных дефектов
Какова загрузка специалистов текущими задачами по тестированию?
Загрузка специалистов по тестированиюЭффективность работы команды тестированияВремя на работу с дефектами
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Перфоманс ЛабПлан. Оценка Номер
заявкиНаправлени
еТС Корр ТС ∑ ТС ФТ ретест ∑ ФТ
Сотрудник 1 1,5 0 1,54,5
0 0 0
5
50448 Кредиты
Сотрудник 1 2 1 3 2,5 2 4,5 51054 Счета, вклады, РКО
Сотрудник 1 0,5 0,5 0,5 0,5 51762 ИБ
Сотрудник 2 3 2 59,5
4 2 614,5
50810 Счета, вклады, РКО
Сотрудник 2 1,5 1 2,5 3 2 5 51422 КартыСотрудник 2 1 1 2 2 1,5 3,5 51424 КартыСотрудник 3 0 0 0
6
1 1 2
9
50416 iBankingСотрудник 3 2 1 3 2 1 3 50703 iBankingСотрудник 3 0 0 0 0 1 1 50589
Сотрудник 3 2 1 3 2 1 3 51580 Счета, вклады, РКО
Сотрудник 4 2 1 3
11
2 1 3
12
50030 КартыСотрудник 4 3 2 5 3 2 5 50303 Кредиты
Сотрудник 4 2 1 3 3 1 4 51337 Счета, вклады, РКО
Сотрудник 4 4 2 6 6 5 3 8 8 50002 Карты
итого требуется: 24,5 13 37,5 30 18,5 48,5доступно ресурсов при 1 срезе 05/05 55 11д-5чел 27,5 5д-5,5чел
AS IS: при 1 срезе 27/04 43 7д-5ч+4д-2ч 41,5 5д-5,5ч+4д-3,5ч4 "наших" заявки в 1 срезе 39 7д-5ч+4д-1ч 45,5 5д-5,5ч+4д-4,5чЕсли бы список был согласован 13/04 50 10д-5чел 49,5 9д-5,5чел
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Март Апрель Май0
10
20
30
40
50
60
70
80
90
73 88.5 86
47.575.5 78
Соотношение трудозатрат
Труд
озат
раты
, ч.д
.
Март Апрель Май0
5
10
15
20
25
16
13 1315 16
23
Соотношение количества заявок
Коли
чест
во з
аяво
к, ш
т.
Март Апрель Май
73
88.5 86
47.5
75.5 78
16 13 13
15 16 23
Соотношениетрудозатрат и количества заявок
Команда тестирования - Трудозатраты
Технологи - Трудозатраты
Команда тестирования - Число заявок
Технология - Число заявок
Какой эффект?
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
GQM позволяет:• принимать наиболее
эффективные и точные решения на основе статистики
• учитывать все факторы, влияющие на принятие решения
• изменять процесс тестирования только для решения конкретных задач или проблем
Полезные ссылки для аналитических подходов
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
http://www-ivs.cs.uni-magdeburg.de/sw-eng/us/java/GQM/link4.shtml
Андерсон Бьерн — «Анализ основной причины. Упрощенные инструменты и
методы»
Improving the Test Process: Implementing Improvement and Change - A Study Guide for the ISTQB Expert Level Module
Итоги
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
• Применение аналитических подходов целесообразно при решении текущих проблем
• Аналитические подходы позволяют точечно решать проблемы в отличии от модельных подходов
• Любое ваше действие или решение будет исключительно для вашего проекта
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Вопросы?
alekslynx