<B2>ハイブリッドクラウド分析基盤の中核DB2 v11 詳解

日本アイ ビー エム株式会社･ ･アナリティクス．テクニカルセールス

田中　正士（ TMASASHI@jp.ibm.com ）

お伝えしたいこと

１．バリアフリーデータベース DB2

２．最新の DB2 v11 の新機能のご紹介

DB2 を触るスキルがあればこんなにもいろんなことができますハイブリッド（オンプレミスもクラウドも。）

クラウドへの適用。そしてより速く、より高い拡張性。

2002 年

1997 年

1999 年

2000 年

1995 年

2004年

オートノミック（自律型）機能実装開始 高度な情報統合への発展 連続可用性の向上

ビジネス・インテリジェンス機能の統合 高度なアクセス性

V1.0 ～ V4.0 マルチプラットフォームへの対応 汎用システムの世界からＰＣの世界へ

ORDB 機能 オプティマイザー 著しいパフォーマンスの向上

管理機能の強化 DB2 for Linux 著しいパフォーマンスの改善

1993 年

Linux 2.6 対応： Enterprise Linux 高可用性の実現 (HADR) 　 オートノミック機能の強化

1983 年　 DB2/MVS V1 発表

大規模 DB 対応強化 オートノミック機能の強化 Table Partitioning 開発生産性の向上

2006年

2007年

2009 年 ORACLE 移行促進機能 ,PL/SQL, ロック ) 圧縮機能拡張 (Index, 一時表 ) DB2 pureScale ( クラスター高可用性拡張 )

2012 年 圧縮機能拡張 Multi-Temperature Storage タイムトラベル照会

2013 年 BLU アクセラレーション pureScale 拡張

DB2 の進化の歴史

① 小さいシステム構成から大きいシステム構成まで規模に合わせて選択し、その後の拡張が可能

②OLTP から DWH までの多様な業務に適用、あらゆる業種での活用

③ 金融業界でも多くの実績、ミッション・クリティカル

な業務に適用、高い評価をいただいている12

56

78

8.2DB2 9DB2 9.5

DB2 9.7

DB2 10.1

DB2 10.5

DB2 の特徴

Native encryption

DB2 for LUW の進化の歴史2015 年

そして、急速にクラウド対応中！

DB2 11 2016年

BLU MPP 対応 Cloud 対応

オンプレミス DB を少し詳しく4

On-Premises

Cloud

ハイブリッド構成可能なラインナップ

豊富な実績堅牢性

多様なデータ応答速度

カスタム環境

伸縮性柔軟性従量制

99.999% の可用性DB2 pureScale スケーラブルに拡張

DB2 DPF(MPP)MPP applianceDB2 PDOA

Non- tuningColumner DBDB2 BLU

+ 行 / 列ハイブリッド

DB2 on CloudDB2 の Cloud版

DataWorksGUI での簡単な操作非同期コピー

InfoSphere CDC /Qreplicationリアルタイムコピー

DB2 BLU の Cloud 版BLU + NetezzaGUI での簡単な操作

dashDB

Systems of Record

（基幹システム）

Systems of Engagement（イノベーション）

No SQL から RDB へ自動変換コピー

Cloudant

Full Managed の DB2OLTP に特化

dashDB TX

DB2 はニーズに合わせて選択が可能

OLTP と OLAP を１つのデータベースで共存

OLTP+OLAP 大規模 OLTP システム向け

大規模 OLAP 向け

DB2 + BLU pureScale DPF(Database Partitioning Feature)

行表 + 列表ハイブリッド環境構築

大量トランザクションのスループット向上、可用性向上

超並列処理による、大量データ分析、大量データロード処理の高速化、拡張性向上

DB2 DB2 DB2

Data1 Data2 Data3

SQL 1’ SQL 1’’ SQL 1’’’SQL 1

DB2 DB2 DB2

Single Database View

Tran 1 Tran 2 Tran 3

Shared Data

DB2

Tran

Data

Single Database View

大規模 OLAP 向けアプライアンス

大規模 OLAP 向け

HW も含め最適化

OLTP と OLAP のハイブリッド(1/2)

！ 分析用データベース・システムを別途構築ETL システムを構築し、定期的に OLTP 環境からデータをコピー

障壁：設計、導入、運用、パッチアップはそれぞれの DB に必要となる　　　各ＤＢの特性、運用を考慮した上での全体インテグレートが必要となる

+

OLTP データベースシステム

C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8行編成

OLTP トランザクション

OLTP トランザクションOLTP トランザクション

OLTP トランザクションOLTP トランザクション

分析データベースシステム

ETLツールでコピー C1C2C3C4C5C6C7C8C1C2C3C4C5C6C7C8

シャドー・テーブル（列編成）

分析クエリー分析クエリー分析クエリー

分析クエリー

単一のデータベース（ DB2 ）

Capture Engine Apply Agent

ログ

単一の CDCインスタンス

C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8

ベース表（行編成）

C1C2C3C4C5C6C7C8C1C2C3C4C5C6C7C8

シャドー・テーブル（列編成）

レイテンシー表

IBM InfoSphere CDC による非同期によるレプリケーション

オプティマイザー

レイテンシーは許容範囲？コストは？• レイテンシーが許容範囲を超えている

OR• コストがベース表の方が小さい

•レイテンシーは許容範囲内 　 AND •コストがシャドー・テーブルの方が小さい

！ 行表と列表が自動的にレプリケーションされる。分析クエリのコストが低いほうを自動的に判断・選択し、検索する。

OLTP トランザクション

OLTP トランザクションOLTP トランザクション

OLTP トランザクションOLTP トランザクション

分析クエリー分析クエリー分析クエリー

分析クエリー

１つのデータベースで効率的なワークロードを実現可能。リソース・運用の削減が可能。

＋

OLTP と OLAP のハイブリッド(2/2)

Cloud の DB2 もニーズに併せて選択可能

それぞれを詳しく。まずは dashDB

用途 OLAP OLTP OLAP + OLTP

提供形態

DB2 on CloudDB2 on CloudIaaS + hosting service

aa DB2 on ClouddashDBDataWareHouse as a Service

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

aadashDB TXDatabase as a Service

dashDB とは？

dashDB TX とは？

大容量向けに MPPモデルもご用意。もちろん、すぐ使えて使った分だけ。

BLU Acceleration + In-DB Analytics

１． DB2 と Netezza のいいとこどり

バックアップ、統計情報の取得、チューニングすべて不要

２．運用いらずの完全マネージドサービス

GUI ベースで簡単に操作可能Talbe 選択、 Browse をクリックすればデータ参照可能

３．マニュアルいらずの簡単な操作

！

aadashDBDataWareHouse as a Service

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

OLAP 特化型の SaaSサービス。

dashDB TX とは？

DB2 on Cloud とは？

デフォルト設定で暗号化。もちろん、すぐ使えて使った分だけ。

トランザクション処理向けに構成を最適化してご提供

１．トランザクション向け特化型dashDB

バックアップ、運用管理不要

２．運用いらずのマネージドサービス

HA 構成を組み上げて、お客様へ提供３． HA 構成も選択可能

！

aa

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

OLTP 特化型の SaaSサービス。

dashDB TXDatabase as a Service

DB2 on Cloud とは？

クラウドとオンプレミスの連携方法

SoftLayer （ virtual / baremetal ） or AWS から選択可能。

購入してすぐに Cloud 上の DB2 が利用可能！

１．すぐに使える

月単位の契約。必要なときに必要な分だけ！

２．使った分だけお支払い

これまでのノウハウをそのままクラウドで利用可能！

３．オンプレと同じノウハウ

DB2 on CloudIaaS + hosting service

ハードウエア

OSデータベースの構築

データベースの管理

アプリケーションの開発

！

DB2 のクラウドへのホスティングサービス。 OLTP , OLAP 用途に。

オンプレミスと Cloud の連携方法

DataWorks とは？

On-Premises Cloud

DB2 on Cloud

！ １－３はこれまでと同じノウハウ。用途によって最適な連携方法を選択可能ファイル転送、リアルタイム連携、ツールを使った連携

２．リアルタイム連携　　 InfoSphere CDC /Qreplication

１．ファイル転送による連携　　※ Cloud のストレージへ一旦おくことも可

４． Dataworks によるコピー　 GUI 操作で簡単に非同期コピー

３． ETLツールによる連携

これまでと同じノウハウ！

Cloud ！

これまでと同じノウハウ！

これまでと同じノウハウ！

Dataworks とは？

利用例

１．クラウドへのデータ連携SaaS

移動させたデータ分だけお支払い！

２．使った分だけお支払い

マニュアルいらずの簡単な操作！接続先情報を入力して、移行対象を GUI で選ぶだけ。

３．コーディング不要 DataworksSaaS

移行要件 移行ジョブ作成環境構築 設計 開発

不要！

On-PremisesCloud

！

ユーザ部門主導の分析システム

ユーザ部門主導でシステム構築が可能。マニュアル不要の GUI で操作可能。不要となればすぐにやめることが可能。

構成例

削減可能

dashDB + Dataworksの購入コスト

HW追加コスト

不要となった場合のリスク

ユーザ部門の障壁

システム部門の障壁

操作イメージ

これまで 提案例On-Premises

CloudDB2 on CloudorOther DB

DataWorks dashDB

DB2 or Other DB

データコピーは 2Step１．移動元と移動先の DB を選択し、　　 IP 情報やDB名などの接続情報を入力

２．移動元と移動先の Table を選択し、　　実行ボタンをクリック

データ参照は GUI で１． SQL を入力する場合 ２．テーブルを選択してデータを確認する場合

お伝えしたいこと

１．バリアフリーデータベース DB2

２．最新の DB2 v11 の新機能のご紹介

DB2 を触るスキルがあればこんなにもいろんなことができますオンプレミスもクラウドも。多彩なラインナップ

クラウドへの適用。そしてより速く、より高い拡張性。

大規模インメモリウェアハウスに向けて・ BLU MPP 対応 / in-Memory アルゴリズム強化・多様な新規機能 /関数

Cloud利用を見据えたセキュリティの向上・ Native Encryption の鍵管理強化

高可用性と、実装 / 運用の容易性・バージョンアップ時の停止時間の最小化 / HADR 設定簡

易化・他DB互換性の向上・使いやすさを向上させる新しい関数

超大規模 DB(Very Large Database) のサポート

・ pureScale 機能強化・ BLU MPP 対応

BigData を統合・ Federation 機能強化・ DB2 を通じて他DB にアクセス

&

DB2 V11 の進化の方向性とは？

VLDB(Very Large DataBase) /

セキュリティ機能拡張　 / Cloud Storage の利用１． Cloud 環境への適合

BLU アクセラレーション機能拡張。 in-Memory アルゴリズムの進化、 BLU の MPP 対応２．さらなるパフォーマンス強化 & 拡張性の向上

Federation の強化。 BigData(BigSQL), dashDB, Netezza, 他社 DB

３．いろんなデータソースとの接続性の強化

DB2 V11 の新機能とは？

１． Cloud 環境への適合

On-Premises

Cloud

セキュリテイ強化、 Object Storage への接続性向上

！ 必要なときに、必要な期間だけ、グローバルでセキュアな DR 環境を、簡単に構築できる

① ログを暗号化しながら同期

②Cloud 上の Storage も Local ディスクの様に操作かつ、セキュアな接続

キーストア

③暗号化データを見るための鍵は、一箇所で安全に管理

（補足）データベース暗号化機能Native encryption クラウドデータベースのセキュリティに必須の機能

！

DB2 Key

■DB2内のすべてのユーザーデータが暗号化

　　すべての表スペース

　　すべてのデータ（ LOBや XML等も含め）

　　すべてのトランザクション・ログ

　　 LOAD データおよび LOAD元データ

　　すべての dump .bin ファイル

　　バックアップデータ

データベース単位で暗号化し、アプリケーションからは透過的。シンプルな実装。 Create database に encrypt とつけるだけ。サイズの増加の増加なし。負荷の増加は数% 。

２．さらなるパフォーマンス強化 & 拡張性向上

！

これまでの DB2BLU の機能列単位の格納による I/O の最適化、超高速インメモリー処理

＋さらにMPP 並列アーキテクチャ組み込み & インメモリアルゴリズムを強化！

＋さらにIn DB analytics でアプリケーションからの処理を高速化！

さらなる処理時間の大幅な削減と超大規模 DWH への最適化を実現

ソフトウェアでの提供となるため、インメモリー + MPP アーキテクチャを様々なインフラで構築可能+

BLU アクセラレーションとは？（ 1/2 ）

どう速いのか？

Super analyticsSuper easy

DB2WITH BLUACCELERATION

分析処理のパフォーマンスを簡単に、速くすることができる機能です。

どう簡単なのか？テーブル作成時のオプション指定のみ

条件がばらついても、コンスタントに速い

照会の軸、範囲が急遽変更になっても Non Tuning で対応可能

CREATE TABLE T1 ( C1 int ) ORGANIZED BY COLUMN

10 TB のデータ

アクショナブル圧縮によってデータ容量を 1 TB に削減

各コア上で並列処理を実施し、32 　 MB のデータを処理

ベクトル処理に利用されるSIMD により数MB のデータを処理

数秒以内で処理が完了

列処理によってデータ容量を 10 GB に削減

DATA

DATA

DATA

DATA

DATA

DATA

DATA

DATA

DATA

DATA DATA DATA

DATADATA DATA

データ・スキッピングによって読込むデータ容量を 1 GB に削減

BLU アクセラレーションとは？（ 2/2 ）

MPP アーキテクチャの組み込み

1/3 data

Query #1processing

Query #1

Query #1processing

Query #1processing

1/3 data

1/3 dataHash partition

(BLU Acceleration)Hash partition

(BLU Acceleration)Hash partition

(BLU Acceleration)

SMP ＆ MPP によるクエリーの並列化・パーティション間＆パーティション内並列処理・インメモリー処理に最適化済み・圧縮済みのカラム・オーガナイズ表 ( カラムナー )・ SIMD による CPU 活用

メリット 処理時間の大幅な改善

⁻ 各区分が Shared Nothing で処理

最大キャパシティの増加⁻ 単体サーバーのキャパシティ限界に制約されない拡

張性

アプリケーション側でなく、データベース内で分析 (In-Database Analytics)–「データの移動を最小限に抑える」 「データベースに処理を委譲する」⇒ 抽出したデータを DB側で処理し、高速な分析を可能に！

Analytic Applications

Analytic Code & Algorithms:Analytic Data:

SQLs

Canned Algorithms

Lang

uage

Fr

amew

ork

(UDX

& A

E)

Data

アプリケーションロジックをデータベース内で実行 分析アルゴリズムを

UDF として実装

分析用のデータモデルを反映した SQL の生成と発行

より効率的にデータを処理

In-Database Analytics とは？

２．さらなるパフォーマンス強化 & 拡張性向上

！

これまでの DB2BLU の機能列単位の格納による I/O の最適化、超高速インメモリー処理

＋さらにMPP 並列アーキテクチャ組み込み & インメモリアルゴリズムを強化！

＋さらにIn DB analytics でアプリケーションからの処理を高速化！

さらなる処理時間の大幅な削減と超大規模 DWH への最適化を実現

ソフトウェアでの提供も可能となるため、インメモリー + MPP アーキテクチャを様々なインフラで構築可能+

分析アプリケーション

その他 DB

３．いろんなデータソースとの接続性の強化

DB2 Federation 機能を通じて RDB の一部として検索

！ 他社 Database との接続性はもちろん、 BigData との接続性も高いOpen for data を見据えた RDB としても最適

お伝えしたいことのまとめ

大規模インメモリウェアハウスに向けて・ BLU MPP 対応 / in-Memory アルゴリズム強化・多様な新規機能 /関数

Cloud利用を見据えたセキュリティの向上・ Native Encryption の鍵管理強化

高可用性と、実装 / 運用の容易性・バージョンアップ時の停止時間の最小化 / HADR 設定簡

易化・他DB互換性の向上・使いやすさを向上させる新しい関数

超大規模 DB(Very Large Database) のサポート

・ pureScale 機能強化・ BLU MPP 対応

BigData を統合・ Federation 機能強化・ DB2 を通じて他DB にアクセス

&

DB2 V11 の進化の方向性

以上です。31

On-Premises

Cloud

バリアフリーなラインナップ

豊富な実績堅牢性

多様なデータ応答速度

カスタム環境

伸縮性柔軟性従量制

99.999% の可用性DB2 pureScale スケーラブルに拡張

DB2 DPF(MPP)MPP applianceDB2 PDOA

Non- tuningColumner DBDB2 BLU

+ 行 / 列ハイブリッド

DB2 on CloudDB2 の Cloud版

DataWorksGUI での簡単な操作非同期コピー

InfoSphere CDC /Qreplicationリアルタイムコピー

DB2 BLU の Cloud 版BLU + NetezzaGUI での簡単な操作

dashDB

Systems of Record

（基幹システム）

Systems of Engagement（イノベーション）

No SQL から RDB へ自動変換コピー

Cloudant

Full Managed の DB2OLTP に特化

dashDB TX

（補足）ハイブリッド　ユースケース予測されるピーク時の負荷への対応 / 突発的な負荷への対応

On-Premises Client

ピーク時、突発的な負荷発生時にのみ Cloud 環境を構築し、負荷分散させる

！ ピーク時及び突発的な負荷への対応は、必要なとき、必要なだけ用意し、データを連携

データ連携

aadashDB dashDB TX

Cloud

DB2 on Cloud

ワークショップ、セッション、および資料は、 IBM またはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、 IBM は責任を負わないものとします。 本講演資料に含まれている内容は、 IBM またはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、 IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、またそのような結果を生むものでもありません。

本講演資料で IBM製品、プログラム、またはサービスに言及していても、 IBM が営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいて IBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。 パフォーマンスは、管理された環境において標準的な IBM ベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。

記述されているすべてのお客様事例は、それらのお客様がどのように IBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。

IBM 、 IBM ロゴ、 ibm.com 、 Cloudant 、 dashDB 、 DB2 、 InforSphere 、 PureData 、 pureScale は、 世界の多くの国で登録されたInternational Business Machines Corporation の商標です。他の製品名およびサービス名等は、それぞれ IBM または各社の商標である場合があります。現時点での IBM の商標リストについては、 www.ibm.com/legal/copytrade.shtml をご覧ください。