Не забудьте начать запись доклада!

9:30 Приветственный кофе

10:00 Ключевой доклад

11:45 Аппаратные решения HP для платформы Microsoft BI

Microsoft Excel как OLAP клиент.Преодоление ограничений

12:45 Обед

13:30 Методика построения хранилищ данных на FastTrack DW и PDW

Анализ «что-если» в Excel 2010 и OLAP write-back в планировании продаж

14:45 Реляционное моделирование для больших хранилищ данных

Прогнозирование навигации на сайте (Data Mining)

16:30 Кофе-брейк

17:00 Анализ вторичных продаж на базе SQL Server 2008 R2 SQL-клиника Некоторые сценарии практического

использования DAX в PowerPivot

18:00 Закрытие конференции


18:30 Лабораторные работы

Не забудьте начать запись доклада!

REC

Аппаратные решения HP для платформы Microsoft BIИгорь Подуков

Hewlett-Packard

Игорь ПодуковHewlett-Packard

Технический консультант

Факты из биографии: Опыт работы в сфере ИТ – более 6 лет Опыт работы с оборудованием HP –

более 4 лет

E-mail: [email protected]

Содержание Введение Обзор FTDW Обзор PDW Обзор Appliance for PowerPivot

• Улучшение обслуживания клиентов• Обработка большего числа транзакций• Увеличение доходов и рост лояльности

Хранение информации

Microsoft PowerPivot и аналитические инструменты Excel

Обработка транзакций

Data Warehouse

• Управление данными и обеспечение совместимости

• Защита целостности данных

OLTP systems

Customer registration, e-commerce website, point of

sale systemsTransaction, inventory, financial,

manufacturing data

Анализ способствует оптимизации бизнес-процессов и повышению производительности BI

Tools

Генерация отчетов

• Создание отчетов в реальном времени с минимальной поддержкой IT

• Генерация решений, которые ведут к повышению числа транзакций, росту прибыли и формированию конкурентных преимуществ

Data marts and cubes

Жизненный цикл данных

Семейство решений для управления данными

Fast Track Data Warehouse

Data Warehouse

Уменьшение времени, стимости и сложностей в выборе и конфигурировании аппаратной платформы для SQL Server DW

Снижение сложности и затрат в развертывании больших хранилищ данных с лидирующими показателями стоимость/производительность и mission-critical поддержкой

HP Enterprise Data Warehouse Appliance Оптимизирован под SQL Server 2008 R2 Parallel Data Warehouse

Business Intelligence

Позволяет бизнес-пользователям с помощью PowerPivot создавать отчеты по бизнес-даннымс минимальной поддержкой IT подразделения

HP Business Decision Appliance оптимизировано под SQL Server 2008 R2 и SharePoint Server 2010

Решения для управления данными от HP и Microsoft

Custom Solutions

Reference Architectures

Pre-Integrated Appliances

Преимущества использования полностью оптимизированной инфраструктуры

Bigger business impact out of

the box

Minimize Risk

Accelerate Time to Value

Optimize Performance

Simplify Operations

Обзор FastTrack DW

Некоторые хранилища данных сегодня

Большое SAN хранилище и

большой SMP сервер

соединенные вместе

Что не так с этой картиной?

Ответ: система не сбалансирована

Сервер может обеспечить 12 GB/Sec IO, а SAN только 2 GB/Sec Даже если SAN отведена только под SQL Data

Warehouse, что зачастую не так

Запросы обрабатываются медленно Несмотря на значительные вложения в серверы и

систему хранения данных

Результат: значительные вложения, не гарантирующие прирост производительности

Потенциальные узкие места для производительности

FCHBA

AB

FCHBA

AB FC

SW

ITC

H

STORAGECONTROLLER

AB

ABC

AC

HE

SER

VER

CA

CH

ES

QL

SE

RV

ER

WIN

DO

WS

CPU

CO

RE

S

CPU Feed Rate HBA Port Rate Switch Port Rate SP Port Rate

A

BDISK DISK

LUN

DISK DISK

LUN

SQL Server Read Ahead Rate

LUN Read Rate Disk Feed Rate

Зачем нужны SMP рекомендованные архитектуры?

Сбалансированы между всеми компонентами Подробно описаны Основаны на последовательном вводе/выводе и нагрузке,

характерной для ХД Ниже стоимость владения (TCO) Масштабируемость и производительность

Альтернатива: сбалансированная система

Подбор общей конфигурации сервера + системы хранения данных из соображений соответствия производительности СХД и вычислительных возможностей сервера

Исключаются проблемы с производительностью, которые возникают при использовании общего хранилища данных (shared storage)

Исключаются переплаты благодаря оптимизации хранилища и сервера под конкретный тип нагрузки

Компоненты сбалансированной архитектуры

Компонент Сбалансирован под…

CPU Максимизация использования кэшированных данных

Controller (Service Processor)

Пропускная способность, необходимая для оптимальной загрузки процессорных ядер

HBA Совокупная пропускная способность, соответсвующая нагрузке, которую будут обеспечивать контроллеры массива

Switch Соответсвуют совокупной пропускной способности HBA и оптимизированы под операции последовательного ввода-вывода

Disks Совокупная пропускная способность контроллеров массива/объему базы данных

HP SQL Server Fast Track Data Warehouse

Масштабируемые, заранее протестированные, экономически выгодные, сбалансированные модели для (SMP) SQL Server 2008 Data Warehouse

Легкость развертывания решения “из коробки” для малых и средних хранилищ данных

Предсказуемые показатели производительности Экслюзивно разработано для работы с последовательными

запросами Минимальные стоимость, риски и время ввода в эксплуатацию Предоставляются сервисы по внедрению и поддержке

Scale UPScale UP

Область действия FastTrack DW

Пу

ть д

ан

ны

х

Кубы Analysis Services

PerformancePoint

Выделенные SAN, массив хранения

Reporting Services

Инструменты веб-анализа

Пакеты загрузки Integration Services

SharePoint Services

Microsoft Office SharePoint

Хранилище данных,Промежуточная область,Пакетная загрузка

Поддерживающие системы

Системы хранения аналитических данных

Системы презентационного уровня

Область действия рекомендованных архитектур (пунктиром)

Excel Services

Да

нн

ые

дл

я о

тоб

ра

же

ни

я

DW versus OLTPDatabase Designed for analytical operations:

Strategic focus Optimized for bulk load and large,

complex, unpredictable queries Fewer concurrent users relative to

OLTP

Storage Primary focus on Read operations Optimized for disk scan over seek

operations Storage optimization focused on disk

scan rate (MB/s)

Database Designed for operational

requirements: Tactical focus Optimized for transactions: “single

row” entry and retrieval Thousands of concurrent users

Storage Emphasizes transactional

performance Optimized for disk seek over scan

operations Storage optimization focused on I/O

operations/s (IOPs)

Компоненты хранилища данных Fast Track

Программное обеспечение: SQL Server 2008

Enterprise Windows Server 2008

Аппаратное обеспечение: Жесткие спецификации для серверов,

устройств хранения, сети Построение «от процессора»

Руководства по конфигурированию: Структура таблиц Индексы Сжатие Настройки SQL Server Настройки Windows Server Загрузка

Архитектура решения Fast Track DW

Рекомендуемые конфигурации HP SQL Server Fast Track

Масштабирование от SMB до Enterprise

Конфигурации для хранения до 80TB при лучшем соотношении стоимость/производительность

HP предоставляет рекомендации по конфигурированию, оптимизации производительности и best practices по установке, работе и управлению.

Сбалансированные по пропускной

способности конфигурации

HP Fast Track Data Warehousing: Рекомендуемые конфигурации для ProLiant G7

Basic SMPup to 20TB DL38x G7

w/ P2000 G3

Mainstream SMPUp to 40TBDL58x G7

w/ P2000 G3

Premium SMPUp to 80 TBDL980 G7

w/ P2000 G3

Entry DW1– 14TB

DL370 G6w/ D2700

HP Business Data Warehouse ApplianceОптимизирован для SQL Server 2008 R2

Доступное, простое решение: позволяет сделать DW широкодоступным, предлагается в пъедестальном варианте и варианте для установки в серверную стойку

Простота установки: Предварительно сконфигурированное аппаратное решение и автоматизированные установочные скрипты исключающие сложность

Защита инвестиций: выгодное масштабирование от 1 до 16 TB для обработки растущего объема данных

SKUs Components

Starter DW Appliance Server HP ProLiant DL370 G6 with X5570 processors, 64GB RAM

Storage HP StorageWorks D2700 (2U), 24 x internal 450 or 600GB SFF SAS disks with Smart Array P410 controllers.

Software Windows Server 2008 R2 Enterprise Edition, SQL Server 2008 R2 Enterprise Edition, custom scripts and code for installation and data loading

Infrastructure None (install in existing rack, or ML packaging option)

Services Solution support from basic to Mission Critical

Expansion SKUs • External storage shelf with 25 SFF disks to balance solution, grow up to 16TB• D2D Backup device add-on

Доступное хранилище данных в предварительно настроенном, оптимизированном едином корпусе

• Server: HP ProLiant DL380 G7 - 2 x 6-core Intel Xeon processors- 96GB DIMM, 384GB Max.- 3 x 8Gb Dual Port FC HBA- 3 x 72GB SAS 15k

• Storage: 3 x HP P2000 G3, 68 x HDDs

• Scalability: 8 – 16TB

Basic Intel Reference Configuration

• Server: HP ProLiant DL385 G7 - 2 x 12-core AMD Opteron processors- 96GB PC3-10600 RDIMM, 384GB Max.- 3 x 8Gb Dual Port FC HBA- 3 x 72GB SAS 15k



Basic AMD Reference Configuration

Basic RC P2000 G3 MSA FC LUN Layout

• Server: HP ProLiant DL580 G7 - 4 x 8-core Intel Xeon processors- 192GB DIMM, 1TB Max.- 5 x 8Gb Dual Port FC HBA- 3 x 72GB SAS 15k



Mainstream Intel Reference Configuration

• Server: HP ProLiant DL585 G7 - 4 x 12-core AMD Opteron processors- 128GB DIMM, 512GB Max.- 5 x 8Gb Dual Port FC HBA- 3 x 72GB SAS 15k



Mainstream AMD Reference Configuration

Mainstream RC P2000 G3 MSA FC LUN Layout

• Server: HP ProLiant DL980 G7 - 8 x 8-core Intel Xeon processors- 512GB DIMM, 2TB Max.- 9 x 8Gb Dual Port FC HBA- 3 x 72GB SAS 15k



Premium Intel Reference Configuration

Premium RC P2000 G3 MSA FC LUN Layout

Обзор EDW

HP Enterprise Data Warehouse Appliance Трансформация сегодняшнего SQL

• Отсутствует единое представление данных в пределах предприятия

• Несколько изолированных витрин данных SQL

• Проприетарные, дорогостоящие EDW устройства

Самое масштабируемое в мире, простое в управлении решения для хранения данных enterprise уровня

ДО ПОСЛЕ

HP Enterprise Data Warehouse Appliance

МАСШТАБИРУЕМОСТЬ• Архитектура MPP

масштабируется от 37TB до более чем 500TB

ПОЛНОТА• Устройство для хранения

данных из серии “все в одном” для критически важных сред

ПРОСТОТА• Единое представление

информации в рамках предприятия

Аппартное решение оптимизировано под вертикальное и горизонтальное масштабирование (до 1 PB+)

Параллелизм для комплексных нагрузок От 100TB до 1PB

Ограниченная функциональностьSQL

Server HA встроено!

SMP (SQL Server, Fast Track)SMP (SQL Server, Fast Track)

Аппартное решение оптимизировано под вертикальное масштабирование (масштабирование ограничено архитектурой)

Параллелизм для простых нагрузок Ограниченный десятками TB объем Полная функциональность SQL Server HA должно быть учтено при построении

решения

MPP (PDW)MPP (PDW)

Parallel Data Warehousing(esp. VLDB, complex workloads)

OLTP, Transactional,Data Warehousing

Symmetric Multi-Processing vs. Massively Parallel Processing

HP Enterprise Data Warehouse ApplianceОтличительные особенности

ПРОИЗВОДИТЕЛЬНОСТЬ• Высокая производительность и быстрые отклики на

запросы

МАСШТАБИРУЕМОСТЬ• Масштабируемость без влияния на производительность

СТОИМОСТЬ ТЕРРАБАЙТА• Решение entarprise-класса с лучшим соотношением $/TB

ЗНАКОМЫЙ ИНСТРУМЕНТАРИЙ SQL• Используются известные инструменты

Состав HP Enterprise Data WarehouseOffer Components

Control rack Servers 2 x HP ProLiant DL360 G7; 1 x DL370 G6; 3 x DL380 G7

Storage HP StorageWorks P2000 G3 (+ internal) storage

Software * Microsoft SQL Server 2008 R2 Parallel Data Warehouse

Infrastructure Infiniband, FC, Ethernet switching, 42u rack

Data rack Servers 10 active + 1 passive HP ProLiant DL360 G7 compute nodes

Storage 10 x HP StorageWorks MSA P2000 G3

Software * Microsoft SQL Server 2008 R2 Parallel Data Warehouse

Infrastructure Infiniband, FC and Ethernet switching, 42u rack

Expansion SKUs

Grow from 1 – 4 data racks, backup options, test/dev system

Services Industry-leading reactive and mission critical support jointly delivered by HP and Microsoft to provide integrated and end-to-end coverage of both the hardware and software components of the appliance

* Software license must be purchased to activate pre-installed software

What you get• Parallel Data Warehouse; massively scalable appliance incorporating servers, storage, interconnects and software pre-loaded, integrated tested and tuned at the factory

• Dedicated storage ensures high performance

• Scales up to 37-125+TB per rack for lower TCO

• Site assessment prior to deployment, followed by on-site install by HP

• System is ready for data loading in up to one week

Database NodesHP ProLiant DL

Du

al

Infi

nib

an

d

Control NodesHP ProLiant DL

Active / Passive

Staging place: data loading

(Accessible to outside world)Backup Node

Spare Database Node

Du

al Fib

re

Ch

an

nel

Management ServersS/W upgrades; patch

deployment staging place

Holds S/W images if a node needs reimaging

Client Drivers

ETL Load Interface

Data Center Monitoring

Corporate Network

Private Network

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control node

Where clients apps connect

MPP engine runs here

Controls DMS on all nodes

Central point for all HW monitoring

SQL

Storage NodesHP P2000 G3

Compute nodes:

Store user data;

Perform local query processing;

Run data movement service

Corporate Backup Solution

Data Rack (не доступно извне)

Control Rack

Backup file storage Accessible to outside world

Landing Zone

Архитектура вычислительного узла

Current Hardware Options

ModelFormFactor

CPU Total Cores MemoryLocal Storage

(TempDB)

DL360 G7 1U Intel Nehalem8 Cores

Hyper threaded72 GB

6 – 300GB 10K SAS

CPU

CPUR

AM

Enterprise ClassDBMS

TempDBWorkspace

Dual Multi-CoreProcessors

HP P2000 G3 (10 Arrays/Rack)

DriveCapacity Spindle Speed Bus

RackCapacity

With 3.5X Compression

300GB 15K SAS 32TB

450 GB 15K SAS 45 TB

1 TB 7.2K SAS 100 TB

HP P2000 G3

HP ProLiant DL

Программная архитектура

MPP engine: Создание appliance-wide планов

распараллеливания запросов Координирует параллельное выполнение

запросов Координирует параллельное выполнение

транзакций Хранит метаданные и конфигурационные данные Отслеживает статус аппартных и программных

средств

Data Movement Service (DMS) Копирует данные между узлами устройства Планирование операций передачи данных и

запросов

Подход к размещению данных

ReplicatedТабличная структура, которая существует в виде полной копии на каждом из узлов PDW.

DistributedТабличная структура, которая разделяется на отдельные столбцы и равномерно распределяется между всеми узлами PDW. Каждое распределение представляет собой отдельную физическую таблицу в DBMS.

Ultra Shared NothingСпособность создавать схему из распределенных и реплицированных таблиц для минимизации премещений данных между узлами.

Малые порции данных более эффективно хранить полностью (реплицированно).

Control Rack Data Rack

Compute Nodes Storage Nodes

Spare Compute Node

Du

al Fib

er

Ch

an

nel

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQLDu

al In

fin

iban

d

Control Nodes

Active / Passive

Landing Zone

Backup Node

SQL

Management Servers

Private Network

SQL

SQL

Преимущество PDW – Massive Parallel Processing

Query 1

Query 1 is submitted to SQL Server on Control Node

??????

???

?

Query is executed on all 10 Nodes

Results are sent back to client

Control Rack Data Rack

Compute Nodes Storage Nodes

Spare Compute Node

Du

al Fib

er

Ch

an

nel

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQLDu

al In

fin

iban

d

Control Nodes

Active / Passive

Landing Zone

Backup Node

SQL

Management Servers

Private Network

SQL

SQL

Преимущество PDW – Massive Parallel Processing

Multiple queries are simultaneously executed across all nodes.

PDW supportsquerying while data is loading.

?

?

??

?

?

?

???

??

? ???

??? ? ??????? ? ??????? ? ????

??? ? ??????? ? ????

??? ? ??????? ? ??????? ? ????

??? ? ??????? ? ????

Архитектура “Звезда” (Hub and Spoke)– Устройство MPP выступает в виде центрального “хаба”,

который публикует данные по необходимости различным бизнес-подразделениям и департаментам (“spokes” )

– Позволяет архитектуре DW лучше соответсвовать структуре большого предприятия

Предоставляет централизованное EDW и зависимые витрины данных

– Интегрирует SMP и MPP системы Все системы соединены выделенной

высокоскоростной сетью Множественнные рабочие нагрузки на разных системах Параллельное копирование баз данных – скорости порядка 500 GB/min

Parallel Data Warehouse - Hub and Spoke

45

Existing SMP data marts can be redeployed and “plugged in” to the MPP cluster as “spokes”, receiving data from the MPP “hub”

Departments or business units keep their existing data marts

Масштабируемое хранилище данных от десяток до сотен ТБ

Предсказуемая, выдающуяся производительность по низкой цене за терабайт

Повышенная гибкость при использовании схемы “Звезда” (Hub-and-Spoke)

Позволяет быстро и просто внедрить решение для хранения данных enterprise-класса на базе конвергентной инфраструктуры HP для достижения лучших результатов в бизнесе

HP/Microsoft Parallel Data Warehouse

BI Appliance

Проблема: остутсвие представления данных в реальном времени

Необходимо оценивать результаты кампаний по регионам

Необходимо сопоставлять рыночные и конкурентные данные

Необходимо единое представление о финансовом состоянии

Нужно моделировать сценарии кжалований

IT

StrategyMarketing

IT перегружено запросами на создание специфических отчетов

Пользователи не могут быстро получить доступ к данным для

принятия верных решений

FinanceHR

BI решение: уполномоченные конечные пользователи

Анализ кампаний в реальном времени

Соспоставление данных истории и нахождение тенденций

Извлечение данных из нескольких источников для формирования отчетов

Генерация интерактивных моделей “на лету”

SQL Server DB

Share Point

Power Pivot

Excel

Finance

StrategyMarketing

HR

IT освобождается для выполнения основных задач

Уполномоченные пользователи могут сами формировать представления данных

IT

Self-Service BI Appliance

1час на инсталляцию от начала до конца

100%совместимо с имеющейся инфраструктурой Microsoft

1,000пользователей поддерживается одним устройством

HP Business Decision Appliance Оптимизирован для SQL Server 2008 R2 и SharePoint Server 2010

HP Business Decision Appliance

FOR ANY SCALEIdeal for midmarket, departmental and branch office

COMPLETE• Business Insight in a box

SIMPLIFIED• Easily gather, use and

manage data with familiar Excel-based tools

HP Business Decision ApplianceКлючевые отличия

READY TO DELIVER BUSINESS INSIGHT • Up and running in less than an hour with minimal keystrokes

LEVERAGES EVERYDAY TOOLS• Analyze millions of rows of data and share the results, all at

your fingertips

RISK FREE DATA ANALYSIS FOR ANY USER• Built in IT control via management dashboard

Состав HP Business Decision ApplianceOffer Components

Business Decision Appliance

Server HP ProLiant DL360 G7 (X5650 processor) with 96GB RAM

Storage 8 x internal 300GB SFF 6G SAS disks

Software* Windows Server 2008 R2 Enterprise Edition, SQL Server 2008 R2 Enterprise Edition, SharePoint Server 2010

HP Insight Control

Infrastructure None (install in existing rack)

Services HP 3 year 24x7 hardware and software support with 4 hour on-site hardware response is included. HP support covers all components of the appliance, including the Microsoft software.

What you get• Manipulate and share massive PowerPivot workbooks (up to millions of Excel rows) with ease for <1,000 users

• View and edit workbooks via web browser, no Office 2010 upgrade needed

• Optimized configuration includes server, storage, and software pre-loaded, integrated tested and tuned at the factory

• Automated installation wizard speeds startup, management dashboard eases ongoing administration

* Software license must be purchased to activate pre-installed software

HP Business Decision ApplianceЧто установлено?

SharePoint 2010 VL

SQL Server 2008 R2 VL

Windows Server OEM

HP hardware

Note: PowerPivot server components are installed and configured. These components have no cost to the customer.

With PowerPivot for SharePoint and all the SharePoint Prereqs

Возможности Microsoft Power Pivot Уполномоченные пользователи могут генерировать

необходимое представление бизнес-данных с минимальным участием IT.

Обработка огромных порций данных за секунды, используя новые аналитические возможности, такие как Data Analysis Expressions (DAX).

Уполномоченные пользователи теперь имеют возможность самостоятельно использовать знакомые инструменты, такие как Microsoft Excel и SharePoint, для обработки больших объемов информации, позволяя IT освободиться от формирования отчетов и переключиться на решение стратегических IT-задач.

Рабочие книги, расположенные на Microsoft SharePoint, легкодоступны, упрощая взаимодействие и ускоряя принятие решения. Рабочие книги автоматически обновляются при изменениии в источниках данных.

Power Pivot для SharePoint Содействует обмену знаниями и

сотрудничеству по генерируемым пользователями решениям BI

Повышается эфективность управления. Обеспечивается надежного доступа к

достоверным данным. Основано на стандартных функциях

SharePoint. Обеспечивается целостность и безопасность

данных.

HP Microsoft

• HP Business Decision Appliance• HP Part # BW876A• Включено:

• HP Hardware• Windows Server OEM, лицензированный

• Предустановленные SQL Server 2008 R2 и SharePoint Server 2010 – без лицензии,

• 3 года Support Plus 24 на все программное и аппартное обеспечение

• Acquire Windows Server CAL – most existing customers will have WS CALs for all their employees

• Acquire the SQL Server 2008 R2 Enterprise licenses

• Either Server + CAL (for all users), or• Processor license, 2 processors• … no minimum CAL purchase

• Acquire the SharePoint 2010 licenses• SharePoint Server 2010• SharePoint sCal (for all users)• SharePoint eCal (for all users)• … no minimum CAL purchase

HP Business Decision ApplianceВы приобретаете HW и сервисы от HP, а лицензии от Microsoft

Ответы на вопросы

Спасибо за внимание!

Игорь Подуков

Hewlett-Packard

E-mail: [email protected]

9:30 Приветственный кофе

10:00 Ключевой доклад

11:45 Аппаратные решения HP для платформы Microsoft BI

Microsoft Excel как OLAP клиент.Преодоление ограничений

12:45 Обед

13:30 Методика построения хранилищ данных на FastTrack DW и PDW

Анализ «что-если» в Excel 2010 и OLAP write-back в планировании продаж

14:45 Реляционное моделирование для больших хранилищ данных

Прогнозирование навигации на сайте (Data Mining)


17:00 Анализ вторичных продаж на базе SQL Server 2008 R2 SQL-клиника Некоторые сценарии практического

использования DAX в PowerPivot

18:00 Закрытие конференции


18:30 Лабораторные работы

Не забудьте начать запись доклада!

Documents

Transcript of Не забудьте начать запись доклада!