データ連携のプロフェッショナル陣が語る!現場で...
Transcript of データ連携のプロフェッショナル陣が語る!現場で...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
データ連携のプロフェッショナル陣が語る!現場で使える、Oracle GoldenGate テクニカルセミナー Session 1 :
Oracle GoldenGate & GoldenGate Cloud Service 最新情報のご紹介
日本オラクル株式会社 クラウド・テクノロジー事業統括 Cloud/Big Data/DISプロダクト本部 ビジネス推進部 シニアプロダクトラインマネジャー 谷川 信朗 Confidential – Oracle Internal/Restricted/Highly Restricted
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
•以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 3
Oracle Data Integration Technology
グローバルで20,000社以上の導入実績
エネルギー/産業 保険業/ヘルスケア 小売業 その他
通信業 金融業 メディア サービス業
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
- 国内で導入頂いた御客様(公開事例) – IBJL東芝リース株式会社 様 株式会社エディオン 様 MS&ADシステムズ株式会社 様 京都府 様 公益社団法人国民健康保険中央会 様 サントリーホールディングス株式会社 様 社会医療法人財団白十字会 佐世保中央病院 様 スカパーJSAT株式会社 様 住友重機械工業株式会社 様 全日本空輸株式会社 様 DCMホールディングス株式会社 様 日本取引所グループ 様 東日本旅客鉄道株式会社 様 ベリトランス株式会社 様 北陸コカコーラボトリング株式会社 様 楽天証券株式会社 様 (50音順)
※非公開事例を含めると、国内100社以上
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
パートナー様との協業状況(2016年12月現在) 国内パートナー様との協業により、御客様の基盤構築に貢献します。
(50音順)
IT-GENESIS株式会社 株式会社アクアシステムズ
株式会社アシスト 伊藤忠テクノソリューションズ株式会社
SCSK株式会社 株式会社NTTデータ
NTTデータ先端技術株式会社 株式会社キューブシステム
株式会社クロスキャット 株式会社コーソル
株式会社ジール 新日鉄住金ソリューションズ株式会社
株式会社第一コンピュータリソース TIS株式会社
東芝ソリューション株式会社 日本電気株式会社
日本ユニシス株式会社 株式会社野村総合研究所
株式会社日立製作所 株式会社日立ソリューションズ
富士通株式会社 株式会社富士通北陸システムズ
ベンチュリーコンサルティング株式会社
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 6
「Oracleユーザーにとって“当たり前”のデータ連携技術とは?」 パートナー企業の技術者の皆様に、「生の声」を頂きました。
参考:データベース・インサイダーWeb記事の御紹介
http://www.atmarkit.co.jp/ait/articles/1607/05/news020.html
http://www.atmarkit.co.jp/ait/articles/1607/11/news016.html
Five Core Capabilities
1. Business Continuity DATA ALWAYS AVAILABLE
2. Data Movement DATA ANYWHERE IT’S NEEDED
3. Data Transformation DATA ACCESSIBLE IN ANY FORMAT
4. Data Governance DATA THAT CAN BE TRUSTED
5. Streaming Data DATA IN MOTION OR AT RES
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 8
Eight Core Products
Cloud or On-Premise
Oracle GoldenGate
リアルタイム・パフォーマンス
優れた拡張性と柔軟性
多くの実績と信頼性
Oracle GoldenGateは、同種もしくは異種混在DB環境において、影響を極小化したトランザクション・キャプチャ機能、高性能なトランザクション伝搬機能など、リアルタイム・データ・レプリケーション機能を提供します。
Most Databases
Data Events
Transaction Streams
Cloud
DBs
Big Data
各種DB、Big Data、NoSQLを接続対象としてサポート
* The most popular enterprise integration tool in history
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 10
バランスの取れた実装がベストプラクティスとなる
データ移動に最適な仕組みが重要
トリガーで負荷をかけながら抽出
キャプ チャ
大量のデータを定期的に一括(バルク)転送 まとめて一気に 高負荷のデータ適用
適用
ログにアクセスし変更を抽出 DBへの負荷を極小化
トランザクション単位でリアルタイムに伝搬 ネットワーク負荷も少なく、暗号化も可能
伝搬後は即適用 適用処理を並列化し高速適用
データ移動に最適化された、リアルタイムデータレプリケーションのベストプラクティス
従来型のテクノロジーに依存したままでのデータ連携実装方式
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 11
概要
Oracle GoldenGate の ベース・アーキテクチャー
GoldenGate
更新ログ
抽出 プロセス (Capture)
転送 プロセス
(DataPump)
OS
Trailファイル
GoldenGate
受信 プロセス
(Collector)
適用 プロセス (Replicat)
OS
Trailファイル
SQL を生成して トランザクションを適用 (標準方式)
SQLに変換せず、直接 データベースに更新を適用
(Oracle Databaseのみ可能な方式)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 12
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 13
GoldenGate Cloud Service (GGCS) 全体イメージ
他社クラウドサービス
オンプレミス・環境
Database
Database
Oracle Cloud 環境 Oracle Cloud 環境
DBCS GGCS GGCS
GGCS
GGCS DBCS
DBCS
GoldenGate
GoldenGate
単方向 or 双方向
単方向 or 双方向
単方向 or 双方向 3rd Party
Cloud
DBCS : Database Cloud Service ExaCS : Exadata Cloud Service BDCS : Big Data Cloud Service
*1 : オンプレミス環境用に通常のOracle GoldenGate のライセンス/導入が必要です。 *2 : クラウド環境用にBYOL(Bring Your Own License)でのライセンス/構築が必要です。
DBCS
【注意】 ExaCS/BDCS への接続は 今後提供予定
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 14
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate Customer Success Story
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
製品トレーサビリティ確保を支えるDB基盤の可用性向上と負荷分散を同時に実現
顧客事例:朋和産業株式会社 様
16
基幹システム内でのクエリーオフローディングと 待機系および災対系へのDR構成
Oracle GoldenGateにより、基幹系および経理系システムからデータウエアハウスにデータを連携、別アプリケーションからのアクセス負荷をオフロードし、システム全体の性能向上と最適化を実現
Oracle GoldenGateにより、遠隔地データセンターとの異なるDBバージョン間データ同期によるDR構成を実現
Oracle Active Data Guard により、同一データセンター内待機系DBへのDR構成を実現しながら、待機系DBを参照業務で活用しリソース有効活用を実現
IA Server
ODA V1
ODA X5
経理系 生産系 DWH 経理系 生産系
経理系 生産系
AD
G
AD
G
東京データセンター
札幌データセンター
GoldenGate
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
顧客事例: 社会医療法人財団白十字会 佐世保中央病院 様 電子カルテの暗号化や災害対策、システム移行時のダウンタイム極小化を実現
より質の高い医療サービスを提供する 安全なIT基盤を実現
「Oracle Advanced Security」により、 カルテ情報を暗号化、電子カルテ共有環境のセキュリティを強化
「Oracle Data Guard」により、ネットワーク帯域を抑えながら遠隔地災害対策サイトを実現
「Oracle GoldenGate」により、新旧システムを同期、システム移行時のダウンタイムを極小化
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
顧客事例:国内のとある病院 様 (構築パートナー:日本電気株式会社) 「MegaOak」新バージョンへ移行する際の、システム停止時間極小化を実現
病院の根幹を支える医療パッケージの バージョンアップを安全確実に実施
「Oracle GoldenGate」を用いて新旧データベース間を同期し、既存環境へのデータ更新を常時新環境へ伝搬
夜間半日かけて実施する数テラバイト規模のデータベース切替作業を2時間に短縮
従来型の移行方式で発生する各種作業を削減することで、プロジェクトリスクを大幅に削減
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 19
※ GoldenGate Cloud Service事例および、Oracle GoldenGate の今後の機能強化に関するスライドはスクリーン投影のみとなっております。ご了承下さいますよう、お願い致します。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 20
Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。 電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。
もちろん、無償。どんなことでも、ご相談ください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 21
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 22
Confidential – Oracle Internal/Restricted/Highly Restricted 23
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Appendix : Data Integration Technology
Confidential – Oracle Internal/Restricted/Highly Restricted 24
Oracle Data Integrator
バルクデータの高性能処理
中間サーバーが不要
将来のテクノロジーにも対応
Oracle Data Integratorは、高性能なバルクデータ転送、DBやBigData技術を用いた超速並列データ変換処理などを提供します。また、拡張されたデータユーティリティによるブロックレベルのデータロードも可能です。
Bulk Data Transformation
Most Apps, Databases
& Cloud Bulk Data Movement
Cloud
DBs
Big Data
多くの顧客で導入された実績あるテクノロジー
Database、BigData、Cloudなど様々な環境でETLが実行
可能
従来型ETLに比べて数倍規模の性能向上を
実現
ストリーミング/バッチデータに対応
Sparkベースのデータパイプライン
Machine Learningによる プロファイリング
Oracle Dataflow ML Oracle Dataflow ML(Machine Learning)は、Stream/Batchプロセスの処理を単一環境で提供するBig Data ソリューションです。Streaming ETLを実行するクラウドベースのAnalyticsソリューションのような、Lambdaアーキテクチャーをベースとするアプリケーションに最適なソリューションです。
バッチとストリーミングの処理を同時に実
施
Machine Learningがデータプロファイリングをガイド
Oracle PaaS各種サービスにわたってデータの移動をサポート
Most Apps, Databases
& Cloud
Bulk Data Movement
Streaming Data Cloud
DBs
Big Data
Big Data Pipeline
ビジネス用語集
Data Lineage
対象システムを幅広くサポート
Oracle Metadata Management Oracle Metadata Management は、ビジネス用語集やメタデータ収集機能、データスチュワード向けのコラボレーション機能を統合された機能として提供します。
Supports Databases, Big Data, ETL Tools, BI Tools etc:
BI Report Lineage
Taxonomy Lineage
Data Model Lineage
簡単に利用可能
高性能なマッチ処理
強力なデータ品質処理
Oracle Enterprise Data Quality Oracle Enterprise Data Quality は、データプロファイリング、データ標準化、マッチ&マージ、データクレンジングといった機能により、信頼されたビジネスデータの提供を実現します。
Profile, Standardize, Match, Merge and Cleanse your data
DW MDM
Apps ETL
クイックかつ簡単なプロファイリング・クレンジングによるビジネスデータのヘルスチェックが可能
ビジネスユーザー向けの直感的なツールキットによるルール作成が
可能
高性能なアプリケーションやマスターデータに最適な機能
セルフサービス
変換処理のレコメンデーション
Data Graph の組込 ブラウザベースのインタフェースで、ソフトウェアのインストールは不要
優れた自動化と手作業の削
減
実在のGraph Database を用いたエンリッチ
メント
Oracle Data Preparation
Reporting Apps
Files ETL
Oracle Data Preparationは、ビジネス・データを取り込み、データ・アナリストが活用するためのデータ準備作業をシンプルにするためのセルフサービスツールです。
データ・アナリストが直接データフォーマットを制御することで、ソリューションの適用を加速化します。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Appendix : 各種情報ソースの御紹介
Confidential – Oracle Internal/Restricted/Highly Restricted 30
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate 参考資料(1)
• GoldenGate全般の情報 – http://www.oracle.com/jp/products/middleware/data-integration/goldengate/overview/index.html
• Oracle GoldenGateの技術情報 – http://www.oracle.com/technetwork/jp/middleware/goldengate/overview/index.html
•製品マニュアル(主に使用するもの) – 管理者ガイド : 管理/操作全般について記述
– リファレンスガイド: パラメータやコマンドのリファレンス
– Oracle インストレーションおよびセットアップ・ガイド: Oracle DBに特化したマニュアル
– トラブルシューティングおよびチューニング・ガイド
– エラー・メッセージ
– http://www.oracle.com/technetwork/jp/middleware/goldengate/documentation/index.html
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate 参考資料(2)
GoldenGateの移行/アップグレードのベストプラクティス(動画・資料) https://blogs.oracle.com/oracle4engineer/entry/material_goldengate_gridcenter_fujitsu
GoldenGateの試使用版ダウンロード http://www.oracle.com/technetwork/jp/middleware/goldengate/downloads/index.html
GoldenGateに関するお問合せ 担当営業またはOracle Digital(下記)までお問い合わせください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
GoldenGate Cloud Service 参考資料 • 参考資料
– Oracle GoldenGate Cloud Service ホームページ
• https://cloud.oracle.com/ja_JP/goldengate
– Oracle GoldenGate Cloud Serviceデータシート
• https://cloud.oracle.com/_downloads/Datasheet_GoldenGate_1_ja_JP/Oracle_GoldenGate_Cloud_Service_DataSheet.pdf
– Oracle GoldenGate Cloud Serviceのドキュメント
• http://docs.oracle.com/cloud/latest/goldengate-cloud/index.html
– Oracle Database Cloud ServiceドキュメントのGGCS関連部分
• https://docs.oracle.com/cloud/latest/dbcs_dbaas/CSDBI/GUID-C018A05A-6DA6-4C99-8A97-08C39BB0FA47.htm#CSDBI-GUID-C018A05A-6DA6-4C99-8A97-08C39BB0FA47
• お問い合わせ
– Oracle Digital
• http://www.oracle.com/jp/contact-us/
33
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Appendix : 各種サービスの御紹介
Confidential – Oracle Internal/Restricted/Highly Restricted 34
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
オラクルユニバーシティ研修コース Oracle GoldenGate 11g : 基礎 for Oracle
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 36
チュートリアルやデモなど各種コンテンツを無償オンライン配信(英語)
Oracle Learning Library
検索エンジンで「Oracle Learning Library」 もしくは https://apexapps.oracle.com/pls/apex/f?p=44785:1:0 にアクセス
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
オラクル・コンサルティング・サービス Oracle GoldenGate 技術支援サービス
主なサービス御提供実績(抜粋)
導入に向けた案件事前PoCの技術支援 設計/実装における各種ガイドおよびレビュー 詳細なパラメータ設計や運用設計、テスト(性能/障害)の支援 リアルタイム性などのSLA要件がシビアなケースへの支援 PJスケジュールがタイトなケースへの支援 双方向連携、段階移行に関する設計支援 移行時の切戻しに関する設計支援
お客様志向でのプロジェクト推進を実行し、経験に裏打ちされたノウハウとそれを集約したベストプラクティスの適用により、継続的に安定稼働する基盤の実現します。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 38
http://www.oracle.com/technetwork/jp/community/developer-vm/index.html
開発者向けの事前構築済み仮想マシン (Oracle VM Virtual Box)