«Обзор и сравнение инструменов

нагрузочного тестирования»

©2011. QuartSoft Corp.

Load testing of web applications

Евгений Дмитриченко,менеджер проектов компании «КвартСофт»dm@quart-soft.com

www.quartsoft.com

2

Цели тестирования

Ответить на вопросы:• Выдержит ли сервер ожидаемую пиковую нагрузку?

• Какой запас прочности сервера?

• Где узкие места в системе?

©2011. QuartSoft Corp. www.quartsoft.com

3

Виды тестирования

• Performance testing (производительности)

• Resource utilization testing (утилизации ресурсов)

• Stress testing (стрессовое)

• Volume testing (объёмное)

• Scalability testing (масштабируемости)

©2011. QuartSoft Corp. www.quartsoft.com

4

Инструменты тестирования

• Локальные системы:• ApacheBench• Jmeter• WAPT• HP LoadRunner

• Онлайновые системы:• Load Impact • LoadStorm• BrowserMob

©2011. QuartSoft Corp. www.quartsoft.com

5

ApacheBench

©2011. QuartSoft Corp. www.quartsoft.com

Простой в использовании

Кроссплатформенный

Бесплатный

6

ApacheBench

©2011. QuartSoft Corp. www.quartsoft.com

$ ab -c 100 -t 30 -n 10000 -k http://www.example.com

Concurrency Level: 100Time taken for tests: 30.033 secondsComplete requests: 6912Failed requests: 0Write errors: 0Keep-Alive requests: 0Total transferred: 5840304 bytesHTML transferred: 4018240 bytesRequests per second: 230.14 [#/sec] (mean)Time per request: 434.511 [ms] (mean)Time per request: 4.345 [ms] (mean, across all concurrent requests)Transfer rate: 189.90 [Kbytes/sec] received

Connection Times (ms)min mean[+/-sd] median maxConnect: 136 188 200.4 175 3579Processing: 137 242 171.6 200 5425Waiting: 137 218 162.1 175 5399Total: 274 431 267.6 376 5602

Percentage of the requests served within a certain time (ms)50% 376…95% 74698% 94899% 1173100% 5602 (longest request)

7

Apache JMeter

©2011. QuartSoft Corp. www.quartsoft.com

запись сценариев через проксированиеподдержка источников динамических данных в виде

файлов CSVвозможность отладки сценария тестаподдержка сессий пользователей, авторизацииподдержка HTTPSнаглядное представление результатов тестирования,

развернутый отчетимеет возможность подключать сторонние плагины,

расширяющие его возможностивозможность распределенного тестированияКроссплатформенный–Требователен к ресурсам–Требуется время на изучение

8

Apache JMeter

©2011. QuartSoft Corp. www.quartsoft.com

9

Apache JMeter

©2011. QuartSoft Corp. www.quartsoft.com

10

WAPT

©2011. QuartSoft Corp. www.quartsoft.com

автоматизированная запись тестовудобный, понятный интерфейссимуляция реальных действий пользователейразличные типы пользователей в одном тестеподдержка сессий пользователей, авторизацииподдержка HTTPSнаглядное представление результатов тестирования,

развернутый отчетвозможность распределенного тестирования–только под Windows

11

WAPT

©2011. QuartSoft Corp. www.quartsoft.com

12

WAPT

©2011. QuartSoft Corp. www.quartsoft.com

13

HP LoadRunner

©2011. QuartSoft Corp. www.quartsoft.com

• Virtual User Generator (VuGen) — служит для разработки нагрузочных скриптов.• Load Generator — служит для генерации нагрузки (генерации

виртуальных пользователей).• Controller — служит для разработки и запуска сценариев

нагрузки.• Analysis — служит для анализа результатов нагрузочного

тестирования.

14

HP LoadRunner

©2011. QuartSoft Corp. www.quartsoft.com

Умеет все, что умеют остальные инструменты плюс: позволяет мониторить системные ресурсы сервера подробное логирование действий каждого виртуального

пользователя работает с Web 2.0 технологиями: Ajax, Silverlight, Java etc позволяет тестировать различные виды приложений:

мобильные, RIA, облачные. и многое другое– ценовая политика

15

HP LoadRunner

©2011. QuartSoft Corp. www.quartsoft.com

16

Минусы локальных инструментов

©2011. QuartSoft Corp. www.quartsoft.com

• высокое требование к ресурсам

• необходимость построения и поддержания

инфраструктуры для распределенного тестирования

• ограничения входящего интернет-канала

17

LoadImpact

©2011. QuartSoft Corp. www.quartsoft.com

автоматизированная запись тестов

удобный, понятный интерфейс

наглядное представление результатов

распределенное тестирование

18

LoadImpact

www.quartsoft.com©2011. QuartSoft Corp.

19

LoadImpact

www.quartsoft.com©2011. QuartSoft Corp.

20

LoadStorm

©2011. QuartSoft Corp. www.quartsoft.com

наглядное представление результатов распределенное тестирование

–создание сценариев вручную –запутанный интерфейс

21

LoadStorm

©2011. QuartSoft Corp. www.quartsoft.com

22

LoadStorm

©2011. QuartSoft Corp. www.quartsoft.com

23

LoadStorm

©2011. QuartSoft Corp. www.quartsoft.com

24

LoadStorm

©2011. QuartSoft Corp. www.quartsoft.com

25

BrowserMob

©2011. QuartSoft Corp. www.quartsoft.com

удобный, понятный интерфейснаглядное представление результатов тестированияраспределенное тестированиеимпорт скриптов из Seleniumможно использовать реальных пользователей наряду с

виртуальными

26

BrowserMob

©2011. QuartSoft Corp. www.quartsoft.com

27

BrowserMob

©2011. QuartSoft Corp. www.quartsoft.com

28

Выводы

©2011. QuartSoft Corp. www.quartsoft.com

•локальные системы более функциональные

•но локальные системы требуют построения

инфраструктуры для распределенного тестирования

•онлайновых для большинства случаев хватает

•онлайновые системы имеют гибкую ценовую

политику по принципу "платишь за то, что

используешь"

29

Вопросы? Спасибо!

Дмитриченко ЕвгенийМенеджер проектов компании «КвартСофт»

dm@quart-soft.comquartsoft.com

©2011. QuartSoft Corp. www.quartsoft.com