Netezza – to pravé řešení pro Vaše náročné analytické potřeby

Netezza – to pravé řešení pro Vaše náročné analytické potřeby

Martin Pavlík ([email protected])14. Června 2011

2

Napříč odvětvímiRetail

TelekomunikaceDigitální media

ZdravotnictvíVěda a výzkum

Finanční instituceVeřejný sektor

Energetika

Co Netezza dodáváVysoce výkonné

appliance

Řešení pro ukládání a dotazování nad PB dat

Datové sklady a pokročilé analýzy

FilozofieJednoduchost po všech

stránkách

Akvizice IBM11.11.2010

Netezza se stává součástí portfolia produktů brandu

Information Management

Co je Netezza?

Firma

Špičková technologie pro oblast datových

skladů

Zaměstnanci500+

Zákazníci500+

Reference400+

Kde působí?Po celém světě

Zejména však v severní Americe

Co Netezza dodáváVysoce výkonné appliance

Řešení pro ukládání a dotazování se nad PB datDatové sklady a pokročilé

analýzy

3

Co Netezza dodáváVysoce výkonné appliance

Řešení pro ukládání a dotazování se nad PB dat

Datové sklady a pokročilé analýzy

Rychlost

Škálovatelnost

Jednoduchost

Chytrost

Co je to appliance v případě Netezzy?

• Aby to bylo komplikované• Aby to bylo hooooodně drahé

Proč appliance?

• Aby to EFEKTIVNĚ FUNGOVALO

A co vlastně má efektivně fungovat?• Vyhodnocování analytických / ad-hoc dotazů

• Není OLTP databázovým serverem– Není vhodná jako db pod ERP, CRM, ...

Co Netezza není?

Kde Netezza fakticky nemá konkurenci?• Náročné

• Analytické dotazy• Ad-hoc dotazy

• Když jsou konvenční technologie maximálně vyladěné• pro konkrétní dotazovací potřebu

• Má co do činění s velmi malým objemem dat

Kdy Netezza obvykle není rychlejší?

AnalytikIT

Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.

OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5

dní práce to spraví

Analytik IT

Paráda. Mockrát děkuji.Hned to zkusím.

Hotovo. Můžete spustit Váš analytický dotaz.

Analytik IT

Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak

Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní

práce

Neeee !!!Tady se nedá pracovat !

A teď s Netezzou ...

AnalytikIT

Potřeboval bych vyhodnotit závislost mezi vzděláním a

velikosti bytu.

Analytik IT

Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak.S Netezzou můžu dotaz zadat hned.

Odpověď bude za stejnou dobu

IT se může věnovat něčemu jinému

• MPP architektura– Koncept “Shared Nothing”– Rozdělení práce na několik menších úloh

• Velká úloha je rozdělena vertikálně do série menších úloh• Menší úlohy běží paralelně / naprosto nezávisle• Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů• Komunikace mezi jednotlivými úlohami je jen na začátku a konci

• Přínosy– Obrovské úlohy jsou vykonány ve významně kratším čase– Maximální využitelnost zdrojů

Masivní paralelní architektura“Rozděl a panuj”

Massively Parallel Intelligent Storage

1

2

3

920

ŸŸŸ

Network FabricSMP Host

Front End

Netezza TwinFin Appliance

High-Speed Loader/Unloader

ODBC 3.XJDBC Type 4

OLE-DBSQL/92

Execution Engine

SQL Compiler

Query Plan

Optimize

Admin

Source Systems

Client

High Performance

Loader

3rd PartyApps

DBA CLI

ETL Server

SOLARIS

LINUX

HP-UX

AIX

WINDOWS

TRU64

High-PerformanceDatabase EngineStreaming joins,

aggregations, sorts

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic


aggregations, sorts

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

Execution Engine


1

2

3

920

ŸŸŸ


Front End



SQL Compiler

Query Plan

Optimize

Admin

SQL

1 2 3

1 2 3

1 2 3

1 2 3

Snippets

1 2 31 2 3

SQL

Source Systems

Client

High Performance

Loader

3rd PartyApps

DBA CLI

ETL Server

SOLARIS

LINUX

HP-UX

AIX

WINDOWS

TRU64

Zpracování toku dat jednotkou S-BladeJádro (Core) FPGA Jádro CPU

Dekomprese dat

Projekce Selekce,Autorizace

Komplexní ∑Joiny, Aggr, atd.

DatováCache

Select sex, age, count(*)From MultiBillionRowTable

Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’

Group by sex, age;

Každý S-Blade obsahuje 8 n-tic s vlastním:• Diskem• Datovou cache• Jádrem FPGA jednotky• Jádrem CPU


aggregations, sorts, etc.

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

S-Blade

Processor &

streaming DB logic

Asymmetric Massively Parallel Processing™


1

2

3

920

ŸŸŸ


Front End



SQL Compiler

Query Plan

Optimize

Admin

1 2 3

1 2 3

1 2 3

1 2 3

Consolidate

Execution Engine

ODBC 3.XJDBC Type 4

OLE-DBSQL/92

Source Systems

Client

High Performance

Loader

3rd PartyApps

DBA CLI

ETL Server

SOLARIS

LINUX

HP-UX

AIX

WINDOWS

TRU64

18

The Netezza TwinFin™ Appliance

SQL CompilerQuery Plan

OptimalizátorAdministrace

Každý disk je rozdělen na 3 oblasti:Uživatelská data„Swap“ „Mirror“

SMP Servery

Jednotky S-Blade™ (s databázovým

akcelerátorem FPGA)

Disky

19

Produkty rodiny Netezza

Skimmer TwinFinVětšinou jako:• systém pro vývoj• systém pro testování

• Datový sklad• Náročné analytické úlohy

1 TB to 10 TB 1 TB to 1.5 PB

20

Základní přínosy řešení NETEZZA

Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů.

Musejí být tedy lepší.

Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele.

Používá tedy vlastně jakési implicitní hodnoty parametrů

Jenže v případě Netezzy platí:

Výkonnost systému s implicitními parametry je dostatečnáVýkonnost systému s implicitními parametry je dostatečná

Tak takhle nějak jsem se na to tvářil poprvé, podruhé, ... a ještě mockrát, ...

Těším se na Vaše dotazy

Martin Pavlík+420 731 435 691

[email protected]

Netezza – to pravé řešení pro Vaše náročné analytické potřeby

Documents

Transcript of Netezza – to pravé řešení pro Vaše náročné analytické potřeby