CodeFest 2010. Кузьмичев А. — Быстрее быстрого: о требованиях...

CodeFest 2010, Новосибирск,23 сентября 2010 года

Руководитель группы нагрузочного тестированияАндрей Кузьмичев

Быстрее быстрого: о требованиях к производительности

среда, 22 сентября 2010 г.

http://root.yandex.ru/ *

* на правах рекламы :)

http://root.yandex.ru/ *

Что делать?

Мы сегодня не про это :)

Бесчеловечные эксперименты

Замедление поисковой выдачи на различных этапах

+100мс = отклонения в пределах шума

+500мс = -1,0% кликов, +1200мс до первого клика

-0.22%

-0.44%

-0.36%

-0.74%

- Сильное отрицательное воздействие

- Сильное отрицательное воздействие- Приблизительно линейное изменение показателей с ростом задерки

- Сильное отрицательное воздействие- Приблизительно линейное изменение показателей с ростом задерки- Время до первого клика растет почти вдвое быстрее задержки

Чего сегодня не будет?

- как правильно формулировать требования к производительности

- как правильно формулировать требования к производительности- не будет большей части требований к производительности

- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование

- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование- как сделать так, чтобы все работало быстро

- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование- как сделать так, чтобы все работало быстро- сколько нужно программистов, чтобы вкрутить LAMP

План

План1. Восприятие времени

План1. Восприятие времени2. Что происходит в вебе

План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?

План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?

План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!

План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!6. Profit!

1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!

Время

Время: восприятие

Время: восприятие100 - 200 мс мгновенная реакция

500 - 1000 мс незамедлительная реакция

2 - 5 секунд непрерывающаяся реакция

7 - 10 секунд вынуждающая реакция

* XX век

XXI век

5... Ну максимум 7 секунд!

XXI век

5... Ну максимум 7 секунд!

Дальше - быстрее!!!

Время: закон Вербера-Фехнера

Концепция о наименьшем заметном различии - jnd (Just Noticeable Difference)

Отношение Вербера для длительностей до 30 секунд - в диапазоне от 7 до 18%

Концепция о наименьшем заметном различии - jnd (Just Noticeable Difference)

20 сБыстрее Медленнее

20 сБыстрее Медленнее16 с

Правило 20% дает нижнюю и верхнюю границы заметности изменения

Время: критерий «ненамного»

Исследования чувственного оценивания

Среднее между двумя длительностями совпадает со средним геометрическим

Выше порога среднего геометрического вероятность ассоциирования значения с большим числом увеличивается.

Нейтрализация дифференциации

Время: пример

Конкурент - 30 секунд

60 секунд медленно

< 36 секунд неразличимо

< 42 секунд незначительно медленнее

< 24 секунд быстрее

Profit!

Profit!- Возможность незаметной деградации

Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации

Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации- Определение целевой производительности

Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации- Определение целевой производительности- Сглаживание отставания от конкурента

Чего такой серьезный?

1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!

Поговорим о вебе

Время ответа

Запрос DNS

Установка TCP соединения

Запрос DNS

Генерация запроса от клиента

Запрос DNS

Передача запроса от клиента серверу

Запрос DNS

Генерация ответа сервером

Запрос DNS

Передача ответа от сервера клиенту

Запрос DNS

Рендеринг страницы браузером

Запрос DNS

Мы сегодня не про это :)

А вот на этом немного остановимся ;)

В проектах со сложной версткой 60% времени легко приходится на отрисовку

Сделали загрузку скриптов асинхронной и перенесли ее в конец body

Субъективные ощущения

Сравните!

Рендеринг страницы браузером:пример оптимизации

1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!6. Profit!

3 это куча? 3 - это мало. А 7? 7 - это куча!Мало - это когда съел и еще хочется, а много - это когда уже больше не хочется

Так какое время ответа приемлемо?

Это очень сильно зависит от сервиса

В общем случае, если вы отвечаете дольше 300мс, то вы никому не нужны*

* скорее всего это выльется в 1 секунду на клиенте

Мы не должны тормозить

Плохое требование

Мы должны отвечать не медленнее 300мс

Плохое требование

Длинный хвост

95% < 300мс

95% < 300мс99% < 500мс

Но все зависит от сервиса!

И не забывайте о 20% различимости и нейтрализации различия

Да, и не забудьте поисследовать как быстро отвечают конкуренты ;)

Со временем немного разобрались

Этого не достаточно

В чем будем измерять?

RPS - requests per second

Какую нагрузку мы должны выдерживать?

Очень сложный вопрос

Как живет интернет

36,6°

Погода - вполне типичный сервис

Пробки - суточные особенности

21 февраля, 22:45. Биатлон.Масс-старт. 15 км. Мужчины.

22 февраля, 01:00. Биатлон.Масс-старт. 12,5 км. Женщины.

Олимпиада - типичный событийный проектсреда, 22 сентября 2010 г.

/calendar/country/medals/photos/sport

Выходные

/calendar/country/medals/photos/sport

Выходные

Олимпиада кончилась/calendar/country/medals/photos/sport

29 марта 2010 годаВзрывы в московском метро

Первый взрыв: 7:57Рост нагрузки: 8:10

Так и сколько должен держать мой сервис?

Думайте как ваш массовый пользователь

И сколько в итоге должен держать мой сервис?

Ищите суточные, недельные, сезонные колебания

Погода тоже очень сильно влияет на трафик, ага.

Событийный сервис? Готовьтесь к очень резким

скачкам трафика!

Событийный сервис? Готовьтесь к очень резким

скачкам трафика!

Можно сделать сильно упрощенную версию сайта и переключатся на нее в критические моменты. Так,

например, делает Газета.Ру

Если есть возможность - сделайте закрытое тестирование!

А в логах смотрите не только на работу системы, но и на профили нагрузки - там оооочень много интересного.

2 500 000

5 000 000

7 500 000

10 000 000

12 500 000

15 000 000

Май 2008 Окт 2008 Мар 2009 Авг 2009 Янв 2010 Июн 2010

А интернет-то растет!Аудитория портала Яндекс (по данным TNS)

Мониторинг

- Измеряйте все что можете

- Измеряйте все что можете- Возьмите разные счетчики

- Измеряйте все что можете- Возьмите разные счетчики- Смотрите в логи

У нас вот так :)

Что в итоге

Что в итогеПодумайте про время ответа сервиса

Не забудьте про длинный хвост

Прикиньте максимальную нагрузку

Максимально открытая закрытая бета

Нагрузочное тестирование

Вопросы?среда, 22 сентября 2010 г.

Немного цифр

Немного цифр- 7 датa-центров;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;~ 200 изменений программ;

Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;~ 200 изменений программ;- Больше 100 системных администраторов; сетевых инженеров, инженеров ДЦ и других ребят;

Компутеры

2x Intel PIII;128/256/512 MB RAM;SCSI 18/36 GB;100Mb Ethernet

Компутеры

13 лет

2 x Intel 53xx/54xx/55xx/56xx;16/32/48/96/128 GB RAM;

SAS 72–146Gb;SATA 120Gb – 2Tb;

15/16 SAS/SATA direct attached storage;1Gbit Ethernet.

Компутеры

13 лет

Датацентры

Датацентры- До 7 000 серверов;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;- Помещения для персонала;

Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;- Помещения для персонала;- Охрана, пропускная система.

Вопросы?среда, 22 сентября 2010 г.

Москва, 1 октября

http://company.yandex.ru/public/yac/

Yet another Conference 2010

Москва, 1 октября

http://company.yandex.ru/public/yac/

Yet another Conference 2010

* прямая трансляция конечно же будет

Руководитель группы нагрузочного тестирования

119021, Россия, Москва,ул. Льва Толстого, 16

+7 (495) 739-‐00-‐00+7 (495) 739-‐70-‐70 — факс

baabaka@yandex-‐team.ru

Андрей Кузьмичев

CodeFest 2010. Кузьмичев А. — Быстрее быстрого: о требованиях...

Documents

Transcript of CodeFest 2010. Кузьмичев А. — Быстрее быстрого: о требованиях...

Виртуальная инфраструктура как инструмент быстрого запуска проектов

10 шагов для быстрого запуска интернет-магазина

Mangal Express ресторан быстрого питания

Андрей Кузьмичев – Танки в Лунапарке: нагрузочное тестирование в Яндексе

DEV Labs 2016. Искусство быстрого старта

Учебник быстрого чтения. Тони Бьюзен

Эко Комната. Лучший способ быстрого восстановления сил

презентация футбол кузьмичев в.в.

Опыт быстрого запуска интренет-магазина

Особенности быстрого тестирования

Метод VCM+ для выявления противоречий в требованиях заинтересованных лиц

Кузнецов О.А. - Техника быстрого чтения

Андрей Кузьмичев -- Танки в лунапарке – нагрузочное тестирование в яндексе

Франчайзинговая система ресторанов быстрого обслуживания «ГРИЛЬМАСТЕР»

Об изменениях в требованиях санитарного законодательства к салонам красоты

1. ЦЕЛЕВОЙ РАЗДЕЛ progr.pdf · примерных требованиях к программам дополнительного образования детей» 2.

УРОК ПО ТЕМЕ : «Приемы быстрого счета»

Андрей Кузьмичев - яндекс в городе

4 константин сухоруков новый проект. техники быстрого погружения

Готовые решения для быстрого старта работы в интернете