Практический опыт использования некоторых...
description
Transcript of Практический опыт использования некоторых...
![Page 1: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/1.jpg)
Практический опыт использования некоторых современных решений
репликации MySQL
Александр ЧистяковbOombate
twitter.com/noatbaksap
![Page 2: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/2.jpg)
Докладчик
• Разработчик серверных приложений• Администратор БД• Эксплуатационщик• Архитектор серверных приложений• Просто хороший человек
![Page 3: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/3.jpg)
Аудитория
• Разработчики серверных приложений• Администраторы БД• Эксплуатационщики• Архитекторы серверных приложений• Просто хорошие люди
![Page 4: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/4.jpg)
Disclaimer
• Все утверждения, приведенные в этом докладе – ложь• Если даже и не ложь, лучше их еще
раз проверить в своем окружении• Вполне возможно, я что-либо не учел
или не знал• Либо у вас другая инфраструктура
![Page 5: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/5.jpg)
Цель
• Традиционно СУБД является SPOF• Время восстановления после сбоя
СУБД может составлять несколько часов при отсутствии как минимум горячего резерва• Так нам слона не продать
![Page 6: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/6.jpg)
MySQL? А имеет ли смысл?
• Главный open source конкурент – PostgreSQL• Надо как-то оценить статистику использования• http://
www.indeed.com/jobs?q=postgresql&l=CA• http://www.indeed.com/jobs?q=mysql&l=CA• 518 против 5158• Кажется, у нас есть победитель
![Page 7: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/7.jpg)
Что мы хотим обеспечить?
• Несколько MySQL-серверов• Несколько клиентов• При отказе одного MySQL-сервера
клиенты работают с другим• Знакомая задача!• Несколько традиционных решений
![Page 8: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/8.jpg)
Платформа
• Хостинг среднего ценового диапазона• Подключение к сети 100Мбит• Машины в одном датацентре• Крайне желательно, чтобы через
WAN подключение тоже работало
![Page 9: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/9.jpg)
Что такое «репликация»?• Процесс синхронизации нескольких
копий данных• Репликация возможна на нескольких
уровнях: уровень блочного устройства уровень строк в таблицах DB уровень SQL-запросов
![Page 10: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/10.jpg)
Виды репликации• Синхронная (копии данных на нодах
гарантированно одинаковые)• Асинхронная (операция завершается
раньше, чем о ней узнают все ноды)• Какая лучше?• А каковы метрики?
![Page 11: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/11.jpg)
Метрики• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных
![Page 12: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/12.jpg)
На уровне блочного устройства
• MySQL + DRBD + Heartbeat• Упомянуто в официальной
документации• DRBD – сетевой RAID1• Может быть как sync, так и async• DRBD может быть active-active• Но нам это не поможет
![Page 13: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/13.jpg)
На уровне блочного устройства
• Минус: для нашей платформы не очень подходит (очень медленно)• Минус: одна из нод полностью
простаивает• Минус: Heartbeat устарел и его
кодом никто не владеет• Плюс: донастройка MySQL не нужна
![Page 14: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/14.jpg)
Метрики - DRBD• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных (sync/async?)
![Page 15: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/15.jpg)
На уровне базы данных
• Встроенная в MySQL• rubyrep• Galera Cluster for MySQL• Tungsten Replicator• MMM• PRM
![Page 16: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/16.jpg)
Встроенная в MySQL
• до версии 5.1 – только statement-based• 5.1 и выше – row-based• Плюс: может работать между
разными версиями сервера (между 5.0 и 5.5)• Плюс: очень проста в настройке
![Page 17: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/17.jpg)
Встроенная в MySQL• Минус: информация о состоянии
slave записывается в обычный файл – может потеряться• Со мной такое было• Минус: при использовании
statement-based slave и master результаты запросов различаются – INSERT…. VALUES(NOW(),….)
![Page 18: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/18.jpg)
Встроенная в MySQL• Можно настроить master-master и
даже кольцевую репликацию• auto_increment_increment,
auto_increment_offset• log-slave-update=TRUE• Минус: split brain• Выход: На разных узлах писать
только в разные таблицы
![Page 19: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/19.jpg)
Метрики - встроенная• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных
![Page 20: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/20.jpg)
rubyrep
• Trigger-based• Ruby-based• Из-за того, что основана на
триггерах, изменения структуры базы требуют перезапуск репликации• Версии MySQL могут быть разными
![Page 21: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/21.jpg)
Метрики - rubyrep• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных
![Page 22: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/22.jpg)
Взаимная совместимость
• Краткий ответ – лучше никогда не пытайтесь• Однажды я настроил rubyrep между
серверами со штатной master-slave репликацией• Возникла петля
![Page 23: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/23.jpg)
Galera Cluster for MySQL
• Синхронная репликация• Производитель заявляет active-active
multi-master• Поддержка MySQL 5.1, 5.5• InnoDB only (MyISAM все равно не
нужен)
![Page 24: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/24.jpg)
Galera Cluster - установка
• MySQL w/wsrep patch .deb/.rpm• wsrep provider .deb/.rpm• По умолчанию wsrep provider
отключен• Поменять установки в файле
/etc/mysql/conf.d/wsrep.cnf
![Page 25: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/25.jpg)
Galera Cluster – настройка 1
• binlog_format=ROW• default-storage-engine=InnoDB• innodb_locks_unsafe_for_binlog=1• Отключить query_cache• innodb_autoinc_lock_mode=2
![Page 26: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/26.jpg)
Galera Cluster – настройка 2• wsrep_cluster_name• wsrep_provider• wsrep_cluster_address – можно
устанавливать динамически в случае, если state transfer method не rsync• wsrep_retry_autocommit=1• wsrep_certify_non_PK=1
![Page 27: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/27.jpg)
Galera Cluster – передача состояния
• mysqldump – обычный обмен дампом (очень медленно)• rsync – передача самих файлов DB,
гораздо быстрее• В момент передачи состояния от
ноды к ноде кластер недоступен
![Page 28: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/28.jpg)
Galera Cluster - производительность
• Один и тот же дамп базы ~3 Gb• Два узла MySQL, один арбитратор• 100Мб сеть, сервера в одном ДЦ• 60 мин – заливка дампа в кластер• 7 мин – заливка дампа на отдельно
стоящий сервер
![Page 29: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/29.jpg)
Galera Cluster - балансировка
• Блокировка на уровне строк – можно попробовать использовать балансировщик уровня TCP• Мы использовали HAProxy• Python-based скрипт проверки
состояния MySQL
![Page 30: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/30.jpg)
Galera Cluster - проблемы
• При конкурентных вставках в одну и ту же таблицу возможен deadlock (и у нас он возникал постоянно)• Выход: переписать бизнес-логику• Выход: поменять балансировщик• (кстати, Python скрипт с
предыдущего слайда зависал)
![Page 31: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/31.jpg)
Балансировщик уровня приложения - yybal
• Написан на python/greenlets• Не готов для публичного
использования• Перенаправляет запросы с учетом их
смысла (все запросы на изменение данных идут на один и тот же узел)
![Page 32: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/32.jpg)
Galera Cluster – проблемы 2
• ID у суррогатных ключей при вставке перескакивал на несколько тысяч• Разработчик Galera сообщил, что
проблема в самом MySQL• Так как от конкурентной вставки уже
отказались, отключили смещение в конфигурационном файле
![Page 33: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/33.jpg)
Galera Cluster – проблемы 3
• Внезапное и необъяснимое увеличение потребления CPU• Разбираться было некогда
![Page 34: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/34.jpg)
Метрики - Galera• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных
![Page 35: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/35.jpg)
MMM
• MMM – Multi-Master Replication Manager• http://www.google.ru/#
q=MMM+MySQL+problems• http://www.xaprb.com/blog/2011/05/
04/whats-wrong-with-mmm/
![Page 36: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/36.jpg)
Percona Replication Manager
• Позиционируется как замена MMM• Основан на Pacemaker• Pacemaker предоставляет надежный
коммуникационный канал и занимается арбитражем• Pacemaker оперирует виртуальными
IP-адресами
![Page 37: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/37.jpg)
PRM - настройка• Как быть с виртуальными IP-
адресами, если машины в разных подсетях?• IPsec туннель, поверх него – GRE
туннель с разрешенным multicast• Quagga с включенным OSPF• Виртуальные адреса на алиасе
локального интерфейса (lo)
![Page 38: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/38.jpg)
Метрики - PRM• Простота настройки• Простота поддержки• Быстродействие• Простота восстановления после сбоя• Скорость восстановления после сбоя• Возможность автоматического
восстановления• Целостность данных (semisync?)
![Page 39: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/39.jpg)
Планы на будущее• Drizzle – очень большое внимание
уделено репликации: формат Google protobuf replication log – таблица InnoDB Один slave для нескольких master Replication state записывается
транзакционно• Semisync plugins для MySQL 5.5
![Page 40: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/40.jpg)
Выводы
• Репликация MySQL требует жертв• Универсального решения не
существует• Galera Cluster – неплохое решение
при не очень большой нагрузке (Alexa rank in RU < 500)• Следите за сообществом
![Page 42: Практический опыт использования некоторых современных решений репликации MySQL](https://reader036.fdocument.pub/reader036/viewer/2022081507/56816524550346895dd7a97a/html5/thumbnails/42.jpg)
Пожалуйста, поставьте оценку моему докладу.
Ваше мнение очень важно.
Спасибо!