101 способ провести нагрузочное тестирование...

101 способ провести нагрузочное тестирование неправильно

Екатерина Карасаева, Андрей Дмитриев, NetCracker

Кто мы

Андрей Дмитриев

• разработчик, тимлид

• лидер Jug.ru и CodeFreeze.ru

Екатерина Карасаева

• инженер по нагрузочному тестированию

• опыт в нагрузочном тестировании 3,5 года

Цель

• Показать подводные камни• Поделиться best-practices

Цель

Повестка дня

• Что нужно проверять• Тесты: что меряем, что эмулируем• Инструменты под рукой• Процесс замера по шагам• Что можно сделать неправильно?• Вопросы и ответы

Термины

• NFR (Non-Functional Requirements)• SVT (Stress and Volume Testing)• Response Time• Throughput• Production vs Test Server vs QA Server/Dev Server• Integrations

Цель Stress and Volume Testing

• ???

• Соответствие решения NFR

• Соответствие решения NFR• Поиск регрессионных проблем

• Соответствие решения NFR• Поиск регрессионных проблем • Оценка пределов системы

• Соответствие решения NFR• Поиск регрессионных проблем • Оценка пределов системы• Красивая картинка для клиента

• Поиск регрессионных проблем

• Оценка пределов системы

• Красивая картинка для клиента

• ….

• Красивая картинка для клиента

• ….

• Предсказание поведения на Production-системе

Частые проблемы

• Разное железо и конфигурация• Разные OS, patches, versions• Разные данные• Разные профили нагрузки• Нужен быстрый результат

Проблема 5: Разные OS, patches, versions

• “А давайте накатим вам новый патч?”

Выход:• При смене патча, сборки, версии и подобного

нужен замер ДО и ПОСЛЕ (baseline-зАмЕр)• 1 фактор изменения – 1 пара замеров

Выход:• При смене патча, сборки, версии и подобного

нужен замер ДО и ПОСЛЕ (baseline-зАмЕр)• 1 фактор изменения – 1 пара замеров

Проблема 9: отличие Production от тестового стенда

• Дамп базы данных• Access logs (поведение пользователей)• Распределение нагрузки

Выход:• Регулярная синхронизация с production

Проблема 9: отличие Production от тестового стенда

• Дамп базы данных• Access logs (поведение пользователей)• Распределение нагрузки (

Выход:• Регулярная синхронизация с production

Схема решения

Integration

Проблема 28: входные данные отличаются от Production

Location House Record

House Record

Location

Выход:

• данные как-на-продакшн

• автоматизированный генератор данных как-на-продакшн

House Record

Location

Выход:

House Record

Location

Выход:

House Record

Location

Что эмулируют наши тесты?

• дневные бизнес-часы (пользователей в системе 400+);

• ночное время (пользователей в системе 80+, а также интеграции с 20+ системами);

• Тестирование масштабируемости решения (100%, 150%, 200%)

Процесс замера

• Регулярный план релизов и сборок

• SVT-план

• Подготовка стенда

• Новые проекты - новые тесты

• Смоук-тестирование

• Нагрузка (дневная, ночная)

• Восстановление базы

• Отчет, анализ проблемы

Что можно сделать неправильно?

• ???

• Больше, чем можно себе представить!

• Готовы? Поехали!

Проблема 45: Плотное расписание сборок

Выход:• автоматизация ручной работы• сокращение тестового покрытия

Проблема 56: Сборки сырые, хотфикс на хотфиксе

Выход:• не брать хотфиксов в работу (желательно);• брать сборку с грифом «QA-Passed»• иметь несколько серверов

Маленький хотфикс тестировать столько же, сколько и большой.

Выход:• не брать хотфиксов в работу (желательно);• брать сборку с грифом «QA-Passed» Passed• иметь несколько серверов

Маленький хотфикс тестировать столько же, сколько и большой.

Проблема 61: Неправильный выбор нагрузочных сценариев

Выход:• SVT не должно покрывать все сценарии• Нет – однотипным сценариям!• Да – бизнес-критичным сценариям!• Да – самым тяжелым сценариям!

Инструменты под рукой

• Jmeter•sar•Oracle AWR•SVTF

Кто такой SVTF и что умеет

• Управление:• профилями тестов;• конфигурацией;• пререквизитами;• замером.

• Сбор логов и статистики с распределенных машин

• История хранения запусков

• Обработка данных и построение отчетов

Минутка планирования

DataGen Замер Анализ Flashback DataGen

Проблема 79: Невалидные входные данные?

Выход:• восстановление базы данных после каждого

замера• автоматизированный валидатор входных

данных

Выход:• восстановление базы данных после каждого

замера• автоматизированный валидатор входных

данных

Проблема 82: Jmeter-скрипт часто валится

Выход:• Чем проще – тем лучше• Нет – пререквизитам в скрипте• Нет – лишней логике в нагрузочном скрипте• Пользоваться стандартными решениями

Проблема 95: В начале теста сервер тормозит

Выход:• прогревочный замер обязателен• отрезать первые 10-30 минут из основного

замера

Выход:• прогревочный замер обязателен• отрезать первые 10-30 минут из основного

замера

Проблема 97: Закончилось место во время замера

Выход:• знать, сколько места занимает 1 прогон тестов• (авто) чек-лист

‒ tablespaces‒ hdd‒ archivelogs‒ RAM

Выход:• знать, сколько места занимает 1 прогон тестов• (авто) чек-лист

‒ tablespaces‒ hdd‒ archivelogs‒ RAM

Проблема 101: В фоне что-то работало, невалидный замер

Выход:• проверка перед замером, что система в

спокойном состоянии• проверка, что система не находится в swap• выключение соседних инстансов и баз, если

они находятся на одном оборудовании

Выход:• проверка перед замером, что система в

спокойном состоянии• проверка, что система не находится в swap• выключение соседних инстансов и баз, если

они находятся на одном оборудовании

Выводы

• 100% проблем с производительностью заранее не обнаружить

• Но можно двигаться в этом направлении!

Контакты

Андрей Дмитриев• andrei.v.dmitriev@NetCracker.com

Екатерина Карасаева• karasaeva@NetCracker.com

Thank you!

101 способ провести нагрузочное тестирование...

Education

Transcript of 101 способ провести нагрузочное тестирование...

Как провести эффективную акцию

Як провести кампанію

как провести дело

Нагрузочное тестирование JMeter Кожухов

КАК ПРОВЕСТИ АНКЕТНЫЙ ОПРОС

Как провести собеседование

Как провести конкурс

Управляемые набеги саранчи, или нагрузочное тестирование с Locust

Нагрузочное тестирование

Как провести результативное совещание

Нагрузочное тестирование теория Кожухов

Как разработать и провести экскурсию

Как провести исследование своими силами

Как провести собрание собственников

как провести реорганизацию бизнеса

Нагрузочное тестирование. С чего начать?

Как провести свою кампанию протеста

Нагрузочное тестирование без границ (Юрий Ковалёв)

Как эффективно провести собеседование

Танки в Лунапарке: нагрузочное тестирование в Яндексе