Григорий Никонов, Brocade

Этапы построения SAN для

хранения критически важных

данных.

Программа

• Повторение основ Fibre Channel SAN

– Fibre Channel на рынке SAN

– Основы хорошей сети хранения данных

– Примеры SAN разного масштаба

• Справочная информация и ссылки

• SAN Health

• Обучения и сертификация

• Продукты Fibre Channel 5-го поколения

Fibre Channel SAN:

обратно к основам

Движущая сила Fibre Channel

• Прогноз на 2014-2018

годы – объем систем

хранения FC ~ 38% от

всего суммарного

объема СХД на рынке

-

10 000

20 000

30 000

40 000

50 000

60 000

CY2012 CY2013 CY2014 CY2015 CY2016 CY2017 CY2018

Cap

acit

y in

Pe

taB

yte

s

FC SAN

NAS

iSCSI

DAS

FCOE SAN

Mainframe SAN

InfiniBand

Source: IDC May14 WW Enterprise Storage Forecast

Значение SAN для производительности VM

100% 0% 0% 0%

# сетевых конфигураций в top20 результатов используют Fibre Channel (16 из 20, 4 используют Direct-Attach SAS) # сетевых конфигураций в top20 результатов используют FCoE # сетевых конфигураций в top20 результатов используют iSCSI

# сетевых конфигураций в top20 результатов используют NAS

VMware VMmark 2.1.1— www.vmware.com/a/vmmark/

Будущее FC -> Gen 6 Fibre Channel

• Стандарт Gen 6 Fibre Channel

– Gen 6 Fibre – официальное название

следующего стандарта

– Стандарт на физические интерфейсы (FC-PI-6)

готов и ожидает публикации ANSI

– Стандартизуется использование FEC для

повышение надежности передачи данных

– Также ведется работа над стандартизацией

параллельного Fibre Channel (128Gb) в

дополнение к 32Gb Fibre Channel (стандарт FC-

PI-6P)

Основы хорошей сети хранения

• Две симметричные фабрики обеспечивают высокую доступность в SAN

• Сервера и системы хранения подключаются к обеим фабрикам, на серверах работает “multipathing”

• Фабрики между собой не соединяются: «воздушный зазор» обеспечивает изоляцию ошибок

#1 Dual Fabrics

Основы хорошей сети хранения #2 Правильная топология

Full Mesh – для небольших фабрик (4-5 коммутаторов): максимальная производительность и доступность

Core-Edge – для максимальной масштабируемости крупных SAN

Основы хорошей сети хранения

• Агрегирование индивидуальных соединений

• Устранение узких мест в фабрике

• Облегчение последствий нестабильности соединений

• Балансировка нагрузки на аппаратном уровне

#3 ISL Trunking

Требуется лицензия ISL Trunking на обоих коммутаторах

Основы хорошей сети хранения

• Упрощенный режим работы коммутатора

• Создан для подключения большого количества серверов с невысокой нагрузкой

• Повышает масштабируемость и надежность, облегчает управление

• Идеален для коммутаторов, встроенных в шасси блейд-серверов

#4 Access Gateway, NPIV

Основы хорошей сети хранения

• Передает трафик между отдельными фабриками, не объединяя их

• Устраняет воздействие изолированных фабрик друг на друга

• Повышает отказоустойчивость, облегчает управление и рост SAN

• Рекомендуется при организации соединения с удаленными площадками

#5 FC-to-FC routing

DATA CENTER TECHNICAL BRIEF

SAN Design and Best Practices 28 of 74

Figure 19. Example of redundant edge fabrics utilizing a single backbone fabric

Figure 20. Example of redundant edge fabrics utilizing redundant backbone fabrics

Backbone Considerations

There are many factors to consider when designing backbone fabrics. As mentioned above, the general SAN topology

recommendations are applicable to backbone fabrics. There should be redundant fabrics, switches, and paths

between the end-points (source and destination). Consider the following factors when identifying the best switch

platforms and backbone topology, including switch interconnections:

· The number of edge fabrics impacts the backbone topology, as well as the manner in which edge fabrics are

attached to the backbone. Brocade 8- and 16-Gbps platforms can support FCR functionality on all standard FC

ports, and they provide a much more flexible solution when compared to legacy FCR platforms.

Связь ЦОД на расстоянии

Extended Fabrics FCIP

• Есть оптические каналы связи,

расстояние до 100 км

• Онлайн работа с СХД, синхронная

репликация

• «Чистый (native)» Fibre Channel

• На расстояниях >10 км нужна

лицензия Extended Fabrics

• Есть WAN-соединение, расстояние до

нескольких тысяч км (RTT < 200ms)

• Асинхронная репликация, резервное

копирование

• Fibre Channel over IP (не путать с FCoE)

• Необходимо специальное оборудование

• маршрутизаторы SAN06B-R

• лезвие FX8-24 для SAN384B/SAN768B

Extended Fabrics и FCIP

FCIP vs. FC at 75 KM

• FX 10GbE FCIP на 75км:

• Ниже время отклика

• Больше пропускная способность

• Большие достижимые расстояния

https://community.brocade.com/t5/Design-Build/Data-Center-Infrastructure-Validation-Test-FCIP-amp-Fibre/ta-p/36925

FX 10GE FCIP Native 10G FC

Response

Time (µs)

Throughput

(Gbps)

Response

Time (µs)

Throughput

(Gbps)

1282 16 1697 10

• Compression mode 1

• FastWrite enabled

• 512-byte payload

• Compression n/a

• FastWrite n/a

• 512-byte payload

Tests performed at 75 KM

Fabric B

Fabric A

Типичные этапы развития SAN SAN начального уровня

Шасси блейд-серверов с двумя встроенными FC коммутаторами в режиме NPIV

Серверы в стойке с двумя портами FC

Ленточная библиотека с портами FC

Дисковые массивы с парой контроллеров FC

FC коммутаторы Brocade начального уровня, не соединенные между собой Образуют две независимые фабрики

Резервная площадка

Типичные этапы развития SAN SAN среднего уровня

Fabric B

Fabric A

Fabric D

Fabric С

репликация и резервное копирование

Дисковые массивы и библиотеки

серверы

Две фабрики с топологией Full mesh или Core-Edge

Резервная площадка с двумя фабриками, соединенными с основными через FC маршрутизацию

«дальнобойная» оптика или WDM

Резервный ЦОД

ЦОД1

ЦОД2

Типичные этапы развития SAN SAN крупного предприятия – телеком, банк

Fabric A

Fabric C

Fabric E

FC

FCIP

WAN

FCIP

асинхронная репликация

Server

Connectivity SMB/Mid Mkt

IBM SAN24B-5 -16Gbps Brocade 6505

Ed

ge

C

ore

IBM SAN96B-5– 16 Gbps Brocade 6520

Brocade 8Gb SAN Switch Module (44X1920)

FC

Extension

Converged

Networks

Management

Enterprise IP & Converged

IBM SAN48B-5– 16 Gbps Brocade 6510

Brocade 16 Gbps Flex System Module (90Y9356/88Y6374)

IBM SAN384B-2

(2499-416) Brocade DCX-4S+

IBM SAN384B

(2499-192) Brocade DCX-4S

IBM SAN768B-2

(2499-816) Brocade DCX+

IBM SAN768B

(2499-384) Brocade DCX

Brocade VDX 6710--54

(0563-028) Brocade DCX-6710-54

Brocade VDX 6730-32/76

(3759-C76) Brocade DCX-6730-76

IBM SAN06B-R (FC 7732) Brocade 7800

IBM 2498-384 (FC 3890) Brocade FX8-24

IBM 2498-384 (FC 3880)

Brocade DCX

IBM (69Y1909)

Brocade 8470

Brocade MLXe-8/16 Switch

IBM SAN96B-5– 16 Gbps Brocade 6520

Brocade ICX6610--54

Brocade DCX-6610-54

Основы Fibre Channel: ссылки

• My.brocade.com -> Education -> FC101 бесплатный веб-курс по FC

• Brocade.ru -> материалы по SAN – брошюра на русском языке по основам FC

• http://www.youtube.com/user/gnikonov/videos - уроки на русском по работе с коммутаторами Brocade

• Группа Brocade Russia на LinkedIn http://www.linkedin.com/groups?gid=4246353 – русскоязычное сообщество Brocade

Совместимость и масштабируемость

• Brocade Scalability Guidelines

• Brocade Compatibility Matrix

• FOS Target Path

• http://www.brocade.com/compatibility

SAN Health Простой способ документировать SAN

• Топология в Visio

• Подробная информация в табличной форме

• Графики производительности

SAN Health Audit

• Быстро устанавливается и опрашивает коммутаторы

• Работает на любой рабочей станции под Windows, подключенной к сети управления

• Подключается к коммутаторам через telnet/ssh, собирает информацию от команд *show и *dump

• Работает на одной или нескольких фабриках одновременно

• Подробности на

www.brocade.com/sanhealth

Обучение

• Очные курсы на английском языке

• Веб-курсы с инструктором

• Веб-курсы и материалы для самостоятельной подготовки

• Система обучения доступна на портале MyBrocade

Основные курсы

• Веб-курс FC 101 Introduction to Fibre Channel Concepts

• CFA 200 – Certified Fabric Administrator

• CFP 300 – Certified Fabric Professional

• CFD 200 – Certified Fabric Designer

• TS 300 – SAN Troubleshooting

Подготовка специалистов по SAN

Сертификация

• Экзамены уровня “specialist” сдаются через web (Kryterion Webassessor) - $20

http://www.webassessor.com/brocade

• Остальные экзамены сдаются в тестовых центрах Pearson Vue

BDA – Brocade Distinguished Architect

• ~60 человек в мире

• 4 в нашем регионе

Высший сертификационный статус