Ловушки тестирования производительности

Владимир Марченко

EPAM Systems30-е ноября 2012

Минск, Беларусь

Кто такой

2 / 20

Владимир Марченко

Аналитик производительности[со стажем]в EPAM Systems

Ловлю светлый позитив

Не верю в agile, XaaS, центры совершенства, циклонные пылесосы, и прочие buzzwords

Содержание

• Оговорки

• Технические ловушки

• Организационные ловушки

• Ссылка

3 / 20

Оговорки

4 / 20

Истины нет / истина не познаваема

Цель мероприятия – насторожить

Полагаю, что полезно тестировщикам

Говорю про производительность веб-приложений

Технические ловушки

5 / 20Фото взято тут: http://www.archdaily.com/27245/

Магический бенчмарк

Среднее время отклика:

100 миллисекунд

6 / 20

Как оказалось:

быстро, но недолго

Цель тестирования

Измерить времена отклика

7 / 20

Найти узкие места системы

Проверить стабильность

Кое-что ещё

Протестируйте нам плейер

8 / 20

Какой-тоПлейер

Какие-тоСервера

Какой-тоИнтернет

Держите URL

Найдите причину проблем

Мы пошли спать, созвонимся

Окружение – критично!

• Сервера

• Топология

• Доступ

• Зависимости

• Данные

9 / 20Фото взято у автора фото

Нагрузите нам сервер

10 / 20

Клиент толстый

Пользователи ходят сложными путями

Мы сделали классный скрипт на QTP

Зовём вас, т.к. не получилось запустить тысячу браузеров

Взгляд на мир

11 / 20

Сервер

Клиент

Тут грузим

Тут проверяем эмоцию

Профиль нагрузки

Профиль нагрузки должен быть реалистичным

12 / 20

Есть разница, чем грузить!

Фото взято тут: http://aasf-de.com/catalog.html

ТерминологияСамая неочевидная ловушка…

• Время отклика

• Запросы, клики, транзакции, страницы, байты

• Пользователи!

• Нагрузочное тестирование / тестирование производительности

• и т.д.

13 / 20

Ловушки организации

14 / 20Фото взято тут: http://fotolenin.narod.ru/b/59.jpg

Проектный планОтсечки: 1-е января – начало проекта 1-е апреля – докурили бамбук … 1-е августа – конец интеграционного тестирования,

начало оценки производительности 5-е августа – performance sign off 6-е августа – релиз

15 / 20

20-го июля позвоним в группу производительности...

Когда же начинать?

Тестировать → Когда есть, что тестировать(это, кстати, спорно)

Готовиться → С самого начала

16 / 20

• Средство тестирования• Построение окружения• Получение статистики использования

Требуют времени и денег!

Не автоматизация

17 / 20

Итого

18 / 20

Цель тестирования – поиск узких мест

Правильное тестовое окружение – критично для валидности результатов

Для создания адекватной нагрузки

– смотрите на мир глазами сервера

Оговаривайте терминологию, т.к. изначально в ней бардак

Планировать в середине проекта – уже поздно

Основное время занимает анализ результатов

Ссылка

19 / 20

Web Load Testing for Dummies

(by Scott Barber and Colin Mason)

http://www.gomez.com/ebook-web-load-testing-for-dummies-generic/

Спасибо за внимание!

20 / 20

Владимир МарченкоАналитик производительности в EPAM Systems

vladimir_marchenko@epam.com

Фото взято тут: http://www.zazzle.com/mouse_trap_mousepad-144827429888505359