Тест план иисследовательское тестирование

Василий БуровНоябрь, 2014

Dell Software Group

Обо мне

• Василий Буров• Тестирую с 2002 года

• В одной компании• Один продукт

• Email: vasebur@gmail.com• Skype: b_o_t_l_e_r

Dell Software Group

• Исследовательское тестирование как единственновозможный подход тестирования новойфункциональности у большого энтрепрайз продукта с 10 летней историей.

• Тест-план – способ ничего не забыть проверить иотслеживать статус тестирования.

Расскажу о следующем

Dell Software Group

• Коробочный энтерпрайз продукт.• Выполняет аудит больших смешанных компьютерныхсетей (Windows, Unix, Linux системы).

• Хранилище данных собственной разработки.• Индексация событий в хранилище для быстрого поиска.• Сжимаем оригинальные события до 40 раз.• Обрабатываем события поступающие на сервер соскоростью до 50000 в секунду.

• Умеем отслеживать сессии пользователя на машине.

О продукте

Dell Software Group

• 5 разработчиков, 5 тестировщиков и один аналитик.• Все работают более 5 лет в команде.• 3 тестировщика и один разработчик работают смомента основания продукта.

• У нас команда узконаправленных специалистов.• Модель «автоматизация как сервис».

Наша команда

Dell Software Group

«Исследовательское тестирование – процесс, прикотором одновременно происходит дизайн тестов, выполнение тестирования и обучение.»

(Джеймс Бах).

Исследовательское тестирование

Dell Software Group

• Процесс импровизации, поиск ошибки экспромтом.• Любой может заниматься ad hoc тестированием.

Ad Hoc тестирование

Dell Software Group

Подходы к тестированию

http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf

Dell Software Group

История: Сбор DHCP логов в репозитори и базу данных сагентом и без него.Описание: В windows 2012 server у событий dhcp логапоявились новые поля. Задача: Проверить, что мы их корректно собираем.

Пример из жизни

Dell Software Group

Что получилось

• Нашлось некоторое количество ошибок.• Их фикс требовал времени т.к. надо было разбиратьсякак работает сборщик логов написанный давно.

• Было решено не тратить силы и не поддерживать сборDHCP логов с этой версии ОС до поступления запросаот клиента.

Dell Software Group

• Особенность продукта - наличие в легаси кода.• Начав применять сценарное тестирование время нанаписание тест кейсов было бы потрачено впустую.

• Уже написанные тест кейсы могут быть не актуальны вбудущем.

Выводы

Dell Software Group

История: Запуск отчета по расписанию. Одновременныйзапуск нескольких отчетов.Описание: Как правило, клиенты планируют запуск всехсвоих отчетов на одно время в нерабочие часы. Нужноуметь запустить все отчеты в заданное время ипостроить их без ошибок.Задача: При компиляции отчет потребляет многомашинных ресурсов. Было решено ограничить числоодновременно исполняющихся отчетов. Это числозадается параметром в конфигурационной базе. Остальные отчеты организовать в виде очереди назапуск.

Еще пример из жизни

Dell Software Group

• Таска запускалась на всех серверах в организации.• Если таска не смогла запуститься в заданное время, торасписание терялось и следующих запусков непроисходило.

• Не работал Failover.• В результате была переделана структура тасок и работас ними.

Что получилось

Dell Software Group

• Другая особенность продукта – давно сложившаясяархитектура и концепция.

• Неэффективность сценарного подхода и в этом примере– пришлось бы переписывать тест-кейсы.

Выводы

Dell Software Group

Продукт с 10-летней историей иособенности его разработки

• Много легаси кода.• Сложившаяся архитектура и концепция.• Много функционала который не отрезается и остаетсявостребован.

• Билд строится за 4-8 часов. • Нет спецификаций.• Меняющиеся требования.• Поддержка совместимости с предыдущими версиями.• В среднем годовой релизный цикл.

Dell Software Group

Нам нужно

• Не забыть что-либо проверить.• Дать аргументированный ответ о том, сколькопонадобится времени на тестирование.

• Всегда знать где мы находимся.• Если сроки поджимают, то отприоритезироватьпроверки.

Dell Software Group

В самом общем виде - это документ, отражающий что икак мы делаем чтобы оттестировать наш продукт. Нуженон для того, чтобы планировать работу, мобилизовать ираспределить человеческие, временные и техническиересурсы. В некоторых компаниях Тест План выглядит какграфик и расписание работ. Где-то это сугуботехнический документ. Нет общего стандарта. Естьтенденции, есть возможные типовые главы Тест Плана, которые исключительно хорошо описаны у Канера. Но, ни один конкретный тест план не содержит всех глав, которые есть в книжке. Он содержит те из них, которыеадекватны конкретной задаче и нашему видению этойзадачи.

(Михаил Портнов).

Тест-план

Dell Software Group

Рассматривать элементы тест-плана как областифункциональности, внутри которых мы применяемисследовательское тестирование для их проверки.

Идея

Dell Software Group

• Проверка основной функциональности.• Корректность обработки ошибок.• Нагрузочное тестирование (тестированиепроизводительности, стресс тестирование, наработка наотказ).

• Тестирование документации.

Структура тест плана

Dell Software Group

N NameDuration

(ч.)Status

(%)Actual Bugs

Notes

1Проверка основнойфункциональности

…

2Корректность обработкиошибок

…

3 Нагрузочное тестирование

…

4 Проверка документации

…

Итого

Шаблон тест-плана

Dell Software Group

• Пишем тест план.• Оформляем в виде Excel документа и выкладываем на

Sharepoint портал.• Отправляем ссылку на документ всемзаинтересованным лицам.

• Учитываем замечания (если были).• Тестируем и поддерживаем тест план в актуальномсостоянии.

• Профит

Последовательность действий

Dell Software Group

Калькулятор

Dell Software Group

Тест план для проверки калькулятора

Name

Проверка основной функциональностиВвод данныхПроверка арифметических операцийПроверка вывода результата на экранПроверка работы интерфейса пользователя

Проверка работы на различных ОС

Операции с памятьюЗакрытие программыПроверка работы с минимальными правамиКорректность обработки ошибок

Ввод некорректных символов

Арифметические операции с некорректными данными

Ввод больших данных

Работа при нехватке системных ресурсовНагрузочное тестированиеЗапуск нескольких копий калькулятораОперации с большими данными

Проверка на наличие утечекПроверка документации

Dell Software Group

• Исследовательское тестирование это не только ручноетестирование.

• Исследовательское тестирование это не толькотестирование «черного ящика».

• Исследовательское тестирование это не тольковыполнение тестов.

• Исследовательское тестирование это не хаотическийпроцесс.

Заключение

Dell Software Group

• Нет универсального подхода.• Все определяется условиями разработки ихарактеристиками конкретного продукта.

• Комбинируйте подходы и берите те их части которыелучше всего удовлетворяют вашим условиям.

Заключение

Dell Software Group

Вопросы

Email: vasebur@gmail.com Skype: b_o_t_l_e_r

Dell Software Group

• Сэм Канер, Джек Фолк, Енг Кек Нгуен, “Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес приложений”.

• Cem Kaner, James Bach, Bret Pettichord, “Lessons Learned in Software Testing”.

• James Bach, “General Functionality and Stability Test Procedure”.

http://www.satisfice.com/tools/procedure.pdf

• Jon Bach, “Exploratory Testing. Inside the Spectator Sport”.http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf

• Cem Kaner, “The Value of Checklists and the Danger of Scripts: What Legal Training Suggests for Testers”.

http://www.kaner.com/pdfs/ValueOfChecklists.pdf

Список литературы