OLAP options on Hadoop

OLAPop(onsonHadoopYutaImai,HortonworksJul15,2016

2 ©HortonworksInc.2011–2016.AllRightsReserved

Hortonworks会社概要

IPO4Q14(NASDAQ:HDP)


Hortonworks Data Platform

Hortonworks Data Platform 2.4

GOVERNANCE OPERATIONSBATCH,INTERACTIVE&REAL-TIMEDATAACCESS

YARN:DataOpera(ngSystem(ClusterResourceManagement)

Map

Redu

ce

ApacheFalcon

ApacheSqoop

ApacheFlume

ApacheKaLa

Apache

Hive

Apache

Pig

Apache

HBa

se

Apache

Accum

ulo

Apache

Solr

Apache

Spark

Apache

Storm

1 • • • • • • • • • • •

• • • • • • • • • • • •

HDFS(HadoopDistributedFileSystem)

ApacheAmbari

ApacheZooKeeper

ApacheOozie

DeploymentChoiceLinux Windows On-premises Cloud

ApacheAtlas

Cloudbreak

SECURITY

ApacheRanger

ApacheKnox

ApacheAtlas

HDFSEncrypXon

ISV

Engine

s

Apache

Spark


Hortonworks Data Platformpowered by Apache Hadoop

Hortonworks Data Platformpowered by Apache Hadoop

EnrichContext

Store Data and Metadata

Internetof Anything

Hortonworks DataFlow powered by Apache NiFi

動的・鮮度が重要なインサイト

静的・過去データによるインサイト

Hortonworks DataFlowによるHadoopの可能性の拡⼤

Hortonworks DataFlowとHortonworks Data Platformにより、ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。

Connected Data Platform


Apache Communityへの貢献

1,500を超えるエコシステムパートナーHortonworks テクノロジーパートナー

専⾨家集団：開発に深く携わるコア・メンバーにより構成

Ã  コミッターの多くがHortonworksの社員です。Apache Hadoop プロジェクトに関わるコミッターの約1/3はHortonworksの社員です。Apache NiFiの⼤半を始めとする多くの重要なプロジェクトに関わっています。

Ã  コミッターはコネクティッド・データプラットフォームを改良し、⾰新を続けています。

Ã  Hadoopのロードマップに関わっています。コミュニティに対し、重要なリクワイアメントを⾔える⽴場にいます。

Hortonworks はApache Communityに⾮常に深く関与しています。


HDP Enterprise and Enterprise Plus サブスクリプション

Enterprise EnterprisePlus

ApacheHadoop&YARN ✔ ✔

ApacheTez ✔ ✔

ApacheHive ✔ ✔

ApachePig ✔ ✔

ApacheSqoop ✔ ✔

ApacheFlume ✔ ✔

ApacheMahout ✔ ✔

ApacheAmbari ✔ ✔

ApacheOozie ✔ ✔

ApacheFalcon ✔ ✔

ApacheKnox ✔ ✔

ApacheHBase ✔ ✔

ApacheAccumulo ✔

ApacheStorm ✔

HDPAdvancedSecurity ✔

ApacheSolr Separate Separate

Enterprise EnterprisePlus

ApacheHadoop&YARN ✔ ✔

ApacheAmbari ✔ ✔

ApacheFalcon ✔ ✔

ApacheFlume ✔ ✔

ApacheHBase ✔ ✔

ApacheHive ✔ ✔

ApacheKnox ✔ ✔

ApacheMahout ✔ ✔

ApacheOozie ✔ ✔

ApachePhoenix ✔ ✔

ApachePig ✔ ✔

ApacheSqoop ✔ ✔

ApacheTez ✔ ✔

ApacheZookeeper ✔ ✔

ApacheAccumulo ✔

ApacheKaLa ✔

ApacheRanger ✔

ApacheSpark ✔

ApacheStorm ✔

ApacheSolr Separate Separate

HDP サブスクリプリョンに含まれる内容

•  24x7, 365⽇/年のグローバルサポート•  Web 及び電話によるサポート（⽇本語窓⼝あり）•  バグフィックスや、エンハンスメントのリクエストが可能•  アップグレード、アップデート、パッチへのアクセス権•  HDP旧リリースバージョンへの複数年におけるZ-Stream メンテナン

ス•  カスタマーサポートポータル、ナレッジベースへのアクセス•  WEBベースセルフラーニングHortonworks利⽤権•  以下のリモートトラブル対応及び解析⽀援:

•  設定に関する問い合わせ、クラスタマネジメント•  パフォーマンス問題•  データロード、プロセス、クエリー問題

•  アプリ開発の質問についてのリモートアドバイス•  半年ごとのチェックポイントレビュー (ent plusでは四半期毎)


HDPサブスクリプションサービスのValueとは-アプリケーション開発の問い合わせ-分析、ユースケースの追加の相談例 -こんな分析をしたいが、どのようなデータをとればよいか -やりたいことを実現するためにどのようなコンポーネントを揃えればよいか-機械学習による提案型システムヘルスチェックサービスSmart Senseの提供

Hadoopの開発エンジニアを多数抱えるホートンワークスだから⾃信を持ってお届けできるサービス。内製化にも対応。Hadoopエンジニア、ディヴェロッパー、コミッターを抱えるユーザ企業もサブスクリプションサポートを有効活⽤。


AgendaOLAPop(onsonHadoop

Overview

ApacheKylin

ApacheDruid

SoluXonArchitecture

Wrapup


SQL evolution on HadoopCa

pabi

litie

s

Batch SQL OLAP / CubeInteractive SQL

Sub-Second SQL

ACID / MERGE

Speed Feature

Hive0.x(MapReduce)

Hive1.2-(Tez, Vectorize, ORC, CBO)

Hive2.0(LLAP)

PrestoImpala

Drill

Spark SQLHAWQ

MPP

KylinDruid

CommercialKyvos Insights

AtScaleSource

Hive(WIP)



pabi

litie

s


Sub-Second SQL

ACID / MERGE

Speed Feature

Hive0.x(MapReduce)


Hive2.0(LLAP)

PrestoImpala

Drill

Spark SQLHAWQ

MPP

KylinDruid


AtScaleSource

Hive(WIP)



Overview

ApacheKylin

ApacheDruid

SoluXonArchitecture

Wrapup


Apache Kylin

Ã  eBayで開発されたOLAPエンジン。Ã  2014年10⽉にオープンソース化Ã  2015年にApacheのTop Level Projectに昇格。Ã  読み⽅

–  きりん–  かいりん–  ちりん


Apache Kylin – Motivation

Ã  eBayではもともとHiveでOLAP的なことをしていたが、速度に満⾜できなかった。

Ã  ⼀般的なOLAPクエリに対して数秒〜10秒前後でレスポンスが返ってくることが求められていた。

Ã  当時、オープンソースのソフトウェアでその要求を満たすものがなかった


Apache Kylin – Architecture

RESTAPI

QueryEngine

Router

CubeBuilderHive HBase

Metadata Cube

RESTAPI JDBC/ODBC

3rdPartyApp BITools


Apache Kylin – Interface

QueriesÃ  ANSI SQLÃ  No direct cube exposure / Just through Hive metastoreÃ  No MDX


Apache Kylin – Cube Designer

Ã  Apache Kylin does not provide build scheduler


Apache Kylin – Partial CubeÃ  Balance Between Space and Time

A,B,C,D

A,B,C A,B,D A,C,D B,C,D

A,B B,C B,D A,C C,D A,D

A B C D


Apache Kylin – Cube vs. HBase schema

Pre-Joined/AggregatedTable

Dimensions D1

D2

D3

D4

Measures M1

M2

M3

M4

CuboidID D1 D2 D3 D4

M1 M2 M3 M4

ROWKEY

ROWVALUE


Apache Kylin – Incremental cube build

Ã  Incremental build

Y-2011-2012 M-2013-1-8 D-2013-09-1-20 D-2013-09-21

•  Minutes micro cubes•  Kafka source•  in-memory cubing•  Auto merge


Apache Kylin – Streaming cubing(WIP)

Stream

CubeCube

Before Last Hour

HybridStorageInterface

QueryEngine

ANSI SQ

L

InvertedIndex

InvertedIndex

Last Hour


Apache Kylin – Who is using?

Ã  eBay–  90% queries < 5 seconds

•  User Session Analysis: 26TB, 28+ billion rows•  Traffic Analysis: 21TB, 20+ billion rows•  Behavior Analysis: 560GB, 1.2+ billion rows

Ã  Baidu–  Baidu Map internal analysis

Ã  Many other Proof of Concepts–  Huawei, Boomberg, Law, British GAS, JD.com, Microsoft, StubHub, Tableau…


Apache Kylin – Support

Ã  Kyligence



Overview

ApacheKylin

ApacheDruid

SoluXonArchitecture

Wrapup


Apache Druid

Ã  MetaMarketで開発されたOLAPエンジン。Ã  2012年10⽉にオープンソース化。この時点ではGPLライセンス。Ã  2015年にApache License 2.0に。Ã  150⼈以上のコントリビューター。Ã  名前は、RPGのクラス


Apache Druid - Concept

Ã  列志向の分散データストアÃ  sub-secondでのクエリレスポンスÃ  Realtime streaming ingestionÃ  ⾃在なスライシングとダイシングÃ  ⾃動で⾏われるデータサマライズÃ  概算を計算するアルゴリズムも利⽤(hyperloglog, theta)Ã  ペタバイトスケールÃ  ⾼い可⽤性


Apache Druid– Motivation

Ã  広告配信サービスのリアルタイムダッシュボードÃ  ⼤量のトランザクションデータを⾼い速度で投⼊し、探索可能にした

かった。Ã  append heavyÃ  low latencyÃ  multi-tenantÃ  highly availableÃ  real-time alerting, actionable


Apache Druid– Solutions Evaluated

Ã  RDBMS–  Star schema with aggregate tables–  Slow performance on large scale (upto 20 sec page load times)–  Query caching helped, arbitrary queries still slow

Ã  Key/Value stores(Hbase, Cassandra, BigTable)–  Pre-aggregate all dimensional combinations–  Fast queries were achieved–  Precomputation scales exponentially–  Takes time to precompute(9hrs with 14 dimensions)–  Not cost effective


Apache Druid – Architecture in early days

Ingest

HistoricalNode

HistoricalNode

HistoricalNode

BrokerNode

BatchData


Apache Druid – Historical Node

DeepStorage Disk

Memory

Segment Segment

Segment

Ã  Shared NothingÃ  Main workhorsers of druid clusterÃ  Load immutable read optimized

segmentsÃ  Respond to queriesÃ  Use memory mapped files to load

segmengs


Apache Druid – Current architecture

Ingest

HistoricalNode

HistoricalNode

HistoricalNode

BrokerNode

BatchData

RealXmeNode

RealXmeNode

KaLaBatchData

DeepStorage


Apache Druid – Current architecture


Apache Druid – Broker Node

Ã  Keeps track of segment announcements in clusterÃ  Scatters query across historical and realtime nodesÃ  Merge results from different query nodesÃ  Caching layer


Apache Druid – Coordinator Node

Ã  Assign segments to historical nodesÃ  Interval based cost function to distribute segmentsÃ  Make sure query load is uniform across historical nodesÃ  Handles replication of dataÃ  Configurable rules to load/drop data


Apache Druid – Interface

QueriesÃ  REST APIÃ  SQL(Community effort, No ANSI compliance yet)


Apache Druid – Pivot

Ã  CubedesignandvisualizaXon


Apache Druid– Building cube

Ã  Druid is totally ʻtime-basedʼ OLAP data store.Ã  Basically it builds cube based on ʻtime x dimensions .̓Ã  But how about Unique?

–  Theta Sketches KMV: Open source by Yahoo!–  Predictable approximation error can be trade-off by sketch size

•  k=4096: RSE of +/-3.2% -> 32768bytes•  k=16K: RSE of +/-1.6% -> 131072bytes

–  Mergeable at query time•  ʻmerge rate of about 14.5 million skethces per second per

processor threadʼ–  Intersection can be computed at query time–  Duplication insensitive


Apache Druid – Who is using?


Data mart architecture in Yahoo, Inc

HourETL

EventData

DailyRollup Aggregate

ETLData

Aggregate

Druid HDFS

User Interface

1x 24x ?x



Overview

ApacheKylin

ApacheDruid

SoluXonArchitecture

Wrapup


Solution Architecture for SQL analysis

OLAP

HDFS Hive

Kafka

OLAP Access

Row Level Access

Data Source Source of truth Application


AgendaScalableDataWarehousingonHadoop

Overview

ApacheKylin

ApacheDruid

SoluXonArchitecture

Wrapup



pabi

litie

s


Sub-Second SQL

ACID / MERGE

Speed Feature

Hive0.x(MapReduce)


Hive2.0(LLAP)

PrestoImpala

Drill

Spark SQLHAWQ

MPP

KylinDruid


AtScaleSource

Hive(WIP)

OLAP options on Hadoop

Technology

Transcript of OLAP options on Hadoop