1
Содержание:
Особенности эксплуатации высоконагруженных системЯнварь 2011
Обслуживание
Архитектура
Производительность
Отказоустойчивость
Мониторинг
Поддержка пользователей
Уровни
Чем поможем?
Особенности эксплуатации высоконагруженных систем
2
ОбслуживаниеАрхитектураПроизводительностьОтказоустойчивостьМониторинг
3
Особенности эксплуатации высоконагруженных системЯнварь 2011
О системе• Баннерная крутилка
• Гибкая платформа для построения коммерческих продуктов
• Высоконагруженная реалтаймовая система
• Универсальный инструмент для статистики- Неагрегированные данные доступны за 1 год- Real-time счетчики- Подробная статистика по всем объектам- 20Tb данных только для логов за год
4
Особенности эксплуатации высоконагруженных системЯнварь 2011
Компоненты real-time системы
• 15 взаимосвязанных компонентов, обеспечивающих работу кластера
• Real-time часть сервиса 45 серверов- Intel 5670, 12 ядер по 3Ghz, 48Gb RAM
5
Архитектура платформы
Выборка баннераОтгрузка контента
6
Особенности эксплуатации высоконагруженных системЯнварь 2011
Выборка баннера
ad.adriver.ru ad-serverad-serverad-serverad-serveralg_module
ad.adriver.rualg_modulealg_modulealg_modulealg_modulealgorithm
trait uu xp
dbserver
trait uu xp
dbserverdbserverdbserverdbserverdbserverhistoryhistoryhistoryhistoryhistoryhistoryhistory
statstatstatstatstatstatstatstatstatstat
browser
7
Особенности эксплуатации высоконагруженных системЯнварь 2011
1 запрос на показ это...
• Запрос к 20 внутренним базам
• Реалтаймовое обновление нескольких десятков счетчиков
• Строка ~400 символов в логах
8
Особенности эксплуатации высоконагруженных системЯнварь 2011
Отгрузка контента
ad.adriver.ru
banner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storage
browser
9
Производительность
10
Особенности эксплуатации высоконагруженных системЯнварь 2011
Производительность
• Весь real-time софт написан в компании
• http сервер - до 20.000 запросов/сек
• algorithm module - до 10.000 запросов/сек
• Общая производительность- время ответа в среднем 50мкс (0.00005сек)- десятки тысяч запросов без предвыборки- обновление информации о событии на всех серверах выборки <0.5сек
11
Особенности эксплуатации высоконагруженных системЯнварь 2011
Живьем
6000 баннеров пока вы моргаете
12
Особенности эксплуатации высоконагруженных системЯнварь 2011
Масштабируемость
• Возможность установки региональных прокси-серверов
• Почти линейная масштабируемость кластера
• Гибкие возможности балансировки с обратной связью- Внешние компоненты- Вычислительные модули- Справочники
13
Отказоустойчивость
14
Особенности эксплуатации высоконагруженных системЯнварь 2011
Отказоустойчивость. Концепция.• Обратная связь в системах балансировки
- keepalived- load average based
• Схемы N+N, N+1
• Надёжные дата-центры
• uptime не меньше 99.9885%
• Резервирование каналов- х4 по входящему трафику- х5 выдача контента на Россию- х100 выдача контента на Белорусь
• Резервные копии- основная база - каждые 5 минут + по автоматически по сигналу- справочники - каждые 60 минут- время хранения логов показов 1 год
15
Особенности эксплуатации высоконагруженных системЯнварь 2011
Пример отказоустойчивого сервиса. history.• Данные за 2 недели - 6х
• Данные за 9 месяцев - 3х
• Данные за 9-12 месяцев - 1.5х
• Можем хранить и больше, если это будет востребовано
16
Особенности эксплуатации высоконагруженных системЯнварь 2011
Отказоустойчивость. Выдача контента.• Баннер показывается только после закачки на большую часть
зеркал
• Закачка на зеркала за 1-3 минуты
• Весь контент с зеркал кешируется благодаря правильным http header-ам
• Ограничения на размер баннера установлены с 3х запасом от типовых размеров
17
Особенности эксплуатации высоконагруженных системЯнварь 2011
Отказоустойчивость. Sostware.
• Использование linux платформы собственной сборки
• Тестирование всего софта
• Обкатка на резервном кластере
18
Особенности эксплуатации высоконагруженных системЯнварь 2011
Отказоустойчивость. Hardware.
• Все сервера с данными используют RAID массивы
• Все железо проходит проверку- память, диски, сетевые карты- сервер основной базы работает на тесте минимум 1 месяц
19
Мониторинг
20
Особенности эксплуатации высоконагруженных системЯнварь 2011
Мониторинг - оповещения
• 1255 точек мониторинга с SMS информированием
• Критичных около 30
• Проверка ответов системы с 4 серверов из других городов
21
Особенности эксплуатации высоконагруженных системЯнварь 2011
Мониторинг - визуализация
• >10 параметров на
каждый сервер в
кактусе
• Сводные графики
• Любые параметры
22
Особенности эксплуатации высоконагруженных системЯнварь 2011
Пример анализа нагрузки
23
Особенности эксплуатации высоконагруженных системЯнварь 2011
Мониторинг от А до Я
• Доступность сервисов
• Общесистемные параметры
• Очередь баннеров
• Наличие резервных копий
• Терпература в серверной
• Плазменная панель с критичными параметрами
• Баланс на sms-шлюзе :)
24
Особенности эксплуатации высоконагруженных системЯнварь 2011
Плановые операции
• Проверка производительности
• Проверка выдачи баннеров с мирроров
• Проверка доступности мирроров из регионов
• Проверка целостности резервных копий
25
Поддержка пользователей
УровниЧем поможем?
26
Особенности эксплуатации высоконагруженных системЯнварь 2011
Наша служба и опасна и трудна
27
Особенности эксплуатации высоконагруженных системЯнварь 2011
Уровни
1. Документация, демо-ролики2. Отдел технической поддержки3. Разработчики
28
Особенности эксплуатации высоконагруженных системЯнварь 2011
Документация
• Четкая структура
• Написана под задачи
• Поддерживается в актуальном состоянии
• Обратная связь
29
Особенности эксплуатации высоконагруженных системЯнварь 2011
Демо-ролики
• Объясняют работу с интерфейсом
• Показывают базовые возможности интерфейса
30
Особенности эксплуатации высоконагруженных системЯнварь 2011
Миссия отдела поддержки
• Мы стараемся дать вам то, что вам действительно нужно, а не только что, что вы просите.
31
Особенности эксплуатации высоконагруженных системЯнварь 2011
Постулаты
• Вопросы - это нормально. Плохо, если их нет.
• Мы терпеливо объясним вам как вы сможете достичь результата, но не всегда сможем сделать это за вас.
32
Особенности эксплуатации высоконагруженных системЯнварь 2011
Ещё о поддержке
• Сотрудники прошли профессиональные тренинги
• Им не всё равно
33
Особенности эксплуатации высоконагруженных системЯнварь 2011
Если даже нам нужна помощь...
• Близость разработчиков позволяет оперативно решать любые вопросы
• Клиент всегда получит ответ
34
Особенности эксплуатации высоконагруженных системЯнварь 2011
Типовой вопрос разработчикам
Jan 12 00:00:00 127.0.0.1 algorithm[0]: A0[0]: s*erle*0*123992*0*0*0*0*0*0*0*0*421249*16*20*14*79.111.80.140*0*'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.197.11 Safari/532.0'*'http://www.interfax.ru/society/txt.asp?id=172678/'*7*38*1*0*0*1294779600*''*0.000470****0.000008*3048D95B48.4D12C16E.3063*1813388126*Почему в 18-м поле 0?
35
Особенности эксплуатации высоконагруженных системЯнварь 2011
Мы готовы помочь
Ждём вас на [email protected]
36
Особенности эксплуатации высоконагруженных системЯнварь 2011
А тем временем...
За время рассказа AdRiver показал ~55млн баннеров
37
Система управления интернет-рекламойwww.adriver.ru
Владимир Мосин[email protected]Директор департамента эксплуатации
38
Top Related