Заоблачная безопасность:как обойти чужие грабли

Александр Демидов«1С-Битрикс»

Руководитель направления арендных решений

Битрикс24

• Зарегистрировано компаний: 250 000+ • Активных компаний: 32 000+• 3000 сотрудников в максимальной компании• 55 - среднее число активных пользователей в

компании• 15 000 000 программных страниц в день• 99,99% доступность сервиса за 2014 г.

Поиск и отладка«узких» мест в проекте

конфиденциальность целостность доступность

Кто наши «враги»?

Пользователи

Разработчики

Системные администраторы

Провайдеры

Хакеры?

Пользователи

Обязательно HTTPS

Ограничение доступа по IP

OTP

Разработчики

Никакого доступа на «бой»!

Полная изоляция данных пользователей

Нет единого хранилища логинов и паролей

WAF (in / out)

Файловая система (кроме временных директорий) – read only

Аудит кода

Тестирование всех обновлений

«Одноклассники» 4-6 апреля 2013

2.1 млрд. просмотров в сутки до сбоя

1.6 млрд. – в среднем в неделю сбоя

1.9 млрд. – после сбоя

http://corp.mail.ru/adv/price_odnoklassniki.htm

"Испорченный файл был выложен через централизованную систему управления серверами. В итоге это повлекло за собой необходимость перезапуска большой части наших серверов и переустановку операционной системы", — заявила пресс-секретарь "Одноклассников" Мария Лапук

Системные администраторы

Firewall – закрыто все, кроме необходимогоАдминистрирование – только из офисных сетейchrootReal-time мониторинг изменений в FSReal-time мониторинг загружаемых файловnoexec на временных директорияхМониторинг security updatesТестирование всех обновлений

Внутренний аудитВнешний аудит

Целостность

Пользователи

Разработчики

Системные администраторы

Провайдеры

Все те же «враги»…

Общие принципы

Для разных сценариев сбоев – разные сценарии резервирования и бэкапов

Slave у БД – не бэкап, но тоже очень помогает

Нужно бэкапить и файлы, и базу данных

Это нужно делать постоянно, а не перед аварией

Нужно бэкапить конфиги и настройки серверов и софта

Нужно резервировать даже то, что уже зарезервировано (S3, например)

Полезно проводить учения по восстановлению системы

Нужно уметь восстанавливаться быстро и уверенно

Восстановление можно частично автоматизировать

Мониторинг целостности данных и успешного создания резервных копий

Кстати, правильный ли у вас бэкап?

Изолированность

Целостность

Версионность

Безопасность

Доступность

Не бывает «почти круглосуточно» - технические работы должны проходить незаметно для клиентов:

Сервисные работы

Замена оборудования

Обновления системного ПО

Обновления приложений

Посчитаем стоимость «новой ИТ-системы»

Оборот за 2012 год - $132 млн. (Digital Guru)

7 суток простоя – около $2.5 млн.

А что с поиском?

Резервируй это!

Real Time мониторинг – как узнавать о проблемах?

Можно – так…

Real Time мониторинг – как узнавать о проблемах?

Или – так…

Организация системы мониторинга

Лучше – стандартные решения (Nagios, Zabbix и т.п.), а не самописные.

Дежурная смена и/или мгновенные уведомления.

Мониторить – всё. В том числе – нетипичные и нетехнические

характеристики

Но – аккуратно. Тысячи уведомлений будут бесполезны.

Автоматизация типовых реакций.

Мониторить систему мониторинга.

В идеальном мире – распределенная система мониторинга.

Доверяй, но проверяй

Даже там, где совсем не ждешь подвоха…

ulmart.ru – 18 февраля 2013

Оборот за 2012 год - $379 млн. (Digital Guru)

До суток простоя – более $1 млн.

Уведомления

Опрашиваем список проблем

Шлем «дайджест» проблем, а не по одному

сообщению на каждое событие

Несколько уровней критичности событий

Разные списки адресатов на разные события

Повтор (через 15 минут, через 2 часа), чтобы не

«потерять» уведомление

ОК – если все стало хорошо

Автоматизация типовых реакций

Рост / падение LA – автоматическое масштабирование вверх / вниз

Автоматический рестарт «сбойных» сервисов

Автоматическое «удаление» проблемных машин

Автоматическое восстановление репликации

Автоматическое переключение траффика в случае аварии на уровне целого ДЦ

«Облачная» безопасность

Вы все еще не верите в «облачную» безопасность и не любите «облако»? Возможно, вы просто неправильно его «готовите».

Спасибо за внимание!Вопросы?

Александр Демидов

demidov@1c-bitrix.ru

@demidov