20150902_ビッグデータ/クラウドデータ連携自由自在...

20
ビックデータ/クラウドデータ連携自由自在 〜オンプレミスからSoftLayerへ! AWSからSoftLayerへ!〜 プロダクトコンサルティング事業部 森田俊哉

Transcript of 20150902_ビッグデータ/クラウドデータ連携自由自在...

Page 1: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

ビックデータ/クラウドデータ連携自由自在

〜オンプレミスからSoftLayerへ!AWSからSoftLayerへ!〜

プロダクトコンサルティング事業部森田 俊哉

Page 2: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

データベースもクラウドへ…?

Private Cloud Public Cloud

Hybrid Cloud

Page 3: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

クラウドファースト

Copyright @2015 Insight Technology, Inc. All Right Reserved� 8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著に� セキュリティに対する不安やクラウドの移⾏・運⽤コストが利⽤障壁に出典:MM総研「国内クラウドサービス需要動向(2014年版) http://www.m2ri.jp/newsreleases/main.php?id=010120141104500

05,00010,00015,00020,000

2013年度 2014年度 2015年度 2016年度 2017年度 2018年度

国内クラウドサービス市場規模 実績・予測プライベートクラウド(ホステッド/オンプレミス/コミュニティ)パブリッククラウド(SaaS/IaaS/PaaS)16.0%13.6%

10.9%37.6%

21.9%新規システム構築方法

原則的にクラウド事業者のプライベートクラウド

原則的に自社資産のプライベートクラウド

原則的にパブリッククラウド

クラウドとオンプレミスのメリットを勘案し、最適な方法で

原則的にオンプレミス(非クラウド環境)

データベースもクラウドへ!

� 8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著に� セキュリティに対する不安やクラウドの移⾏・運⽤コストが利⽤障壁に

Page 4: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

データベース基盤におけるクラウド活用

9

リモートバックアップの配置先に活用

基幹系・業務系システムとして活用

オンプレミス環境の災害環境として活用

開発環境検証環境テスト環境として活用情報系(BI/DWH)

として活用

Private Cloud Public Cloud Hybrid Cloud

データベースに対するクラウド活用についても、IBM/Amazon/MSによる積極的なデータベースサービス展開もあり下記のような用途でのクラウド活⽤事例が増加中

Page 5: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

オンプレ・クラウド間のデータ連携がキーになる

Copyright @2015 Insight Technology, Inc. All Right Reserved34.3%

41.0%47.5%

16.6%21.4%

29.0%

複数データセンター間での柔軟なリソース増強

(スケールアウト)

複数データセンター間での

データ移⾏・バックアップ・VM移設

データセンター内での柔軟なリソース増強

(スケールアップ・スケールアウト)

データセンターに必要と考える機能 クラウド非推進企業クラウド推進企業

出典「ITR:クラウド/ICTアウトソーシング同⾏調査2012」

複数データセンター間でのデータ移⾏・バックアップ・VM移設

Page 6: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

オンプレ←→クラウド←→クラウド

データ連携…?

Page 7: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

1.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携(データブロック反映)

2.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携(SQL反映)

Oracle DataGuard

Dbvisit Standby

01. Description of the contents

データ連携方式

Oracle GoldenGate

Attunity Replicate

Page 8: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

データベースデータ連携(データ同期)〜1

Source DB Target DB

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

初期同期(COPY)

Page 9: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

Source DB Target DB

Change Data Captureトランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Change DataApply

データベースデータ連携(データ同期)〜2

INSERTUPDATEDELETE

Page 10: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

1.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携(データブロック反映)

2.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携(SQL反映)

Oracle DataGuard

Dbvisit Standby

01. Description of the contents

データ連携方式

Oracle GoldenGate

Attunity Replicate

Page 11: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

データ連携方式比較

スタンバイ方式スタンバイ方式スタンバイ方式スタンバイ方式

Physical Replicationロジカルレプリケーション方式ロジカルレプリケーション方式ロジカルレプリケーション方式ロジカルレプリケーション方式

Logical Replication

プロダクトOracle DataGuardDbvisit Standby

Oracle GoldenGate

Attunity Replicate

データ連携単位 DB Schema / TABLE

データ連携アーキテクチャ LOG Apply SQL Apply

転送タイミング即時〜数秒*1 / LOG転送時

(自動)即時

(自動)

データ連携先利⽤ 検索不可(検索可*1)検索可

更新可

データベース構成 同一 不問

異種・異バージョン

データベース連携*1) Active Data Guardの場合

Page 12: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

Source DB Target DB

Change Data Captureトランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

データベースデータ連携(Logical Replication)

Change DataApply

INSERTUPDATEDELETE

INSERT

UPDATE

DELETE

SQL

Page 13: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

クラウド間データベース連携・移⾏

拠点-A

Copyright @2015 Insight Technology, Inc. All Right Reserved

③災害対策拠点-B

他社クラウド

②統合①移⾏

ロジカルレプリケーションでオンプレミス・マルチクラウドをシームレスに連携

オンプレミス

Page 14: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー
Page 15: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

Source DB Target DB

Change Data Captureトランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

SQLApply

データベースデータ連携(Logical Replication)

INSERTUPDATEDELETE

Page 16: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

Source DB Target DB

トランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Attunity Replicateデータベースデータ連携

INSERTUPDATEDELETE

Page 17: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Attunity Replicateによるマルチデータベースのデータ連携と移⾏

Copyright @2015 Insight Technology, Inc. All Right Reserved

Attunity Key Point!1)異種DB間の移⾏・統合

2)N:Nの複雑な構成でも容易に統合

3)フル同期から差分同期までシームレス4)DB側エージェントレス

Page 18: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

Copyright @2015 Insight Technology, Inc. All Right Reserved

Attunity Replicateサポートデータベース

LUW(Linux/Unix/Windows)As same as Replication sources

Large DW PlatformsActian Vector

Oracle ExadataMicrosoft PDW

HP VerticaPivottal Greenplum Database

TeradataIBM Netezza

Amazon Redshift

LUW(Linux/Unix/Windows)

SaleforceAny source with ODBC Client

MainframeDB2

IMS/DBVSAM

IBM iSeriesDB2/400

HP NonStopEnscribe ・SQL/MP

Replication Sources Replication Targets

Page 19: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

On-Premises

db.t1.microLocation : Tokyo Region(ap-northeast-1a)Processor : 1vCPUMemory : 613MBVirtual ServerLocation : Tokyo2Processor : 1 COREMemory : 1024MB

Processor : 1 coreMemory : 1024MB

DEMO:

No TABLE NAME COUNT1 CUSTOMERS 815,381 2 ORDERS 525,709 3 ORDER_ITEMS 1,567,612 4 PRODUCT_INFORMATION 100,000 5 INVENTORIES 898,577 6 LOGON 276,951 7 ORDERENTRY_METADATA 4 8 PRODUCT_DESCRIPTIONS 1,000 9 WAREHOUSE 1,000 306MB 4,186,234

Service Plan : BasicLocation : Japan WestPerformance Level : S0(10 DTU)

Page 20: 20150902_ビッグデータ/クラウドデータ連携自由自在 ~オンプレミスからSoftLayerへ! AWSからSoftLayerへ!~ by 株式会社インサイトテクノロジー

オンプレ/クラウド、クラウド/クラウドのデータ連携を自由に!