クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo...
-
date post
15-Apr-2017 -
Category
Technology
-
view
206 -
download
3
Transcript of クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo...
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
2016/10/25
日本オラクル株式会社 クラウド・テクノロジー事業統括 ビジネス推進部 担当マネージャー 大橋 雅人
クラウドを使って競争優位なビッグデータ活用の実現へ ~肝となるビッグデータマネジメントをクラウドで~
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
•以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ
ビッグデータの本質
全量性
3
データ量が重要ではない、点の情報から線・面の情報への変革が重要
属性の厚み
データ量のカバレッジ
1年 100% ~0秒 1秒 1分 1時間 1日 1ヶ月
リアルタイム性
データ活用のタイミング
従来 ユーザー属性
行動パターン
行動文脈
感性・意識
従来
ビッグデータ
2015/11/27 経済産業省 産業構造審議会・新産業構造部会 ヤフー チーフストラテジーオフィサー 安宅和人氏 資料を参考に作成
0%
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
•顧客体験価値の向上
•新規ビジネスモデル創出
•業務オペレーション改善
•効率の向上
収益向上
付加価値・差別化
リスク低減 コスト削減 自動化
• リモート監視・操作 • 運用保守の自動化 • 故障予知 • 資源の稼働率向上 • 安全、及び、セキュリティ
• 顧客分析、顧客満足度向上 • マーケティングや、広告 • 製品開発 • テレマティクス • 医療、及び、健康増進 • 防犯、防災減災、テロ対策
ステークホルダー にとっての価値
ビッグデータ活用の目的
4
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
お客様 事例
アプリログデータを活用し、顧客満足度の高度化を図る
5
・顧客情報 ・購入履歴 ・プロモーション ・ポイント
・プロモーション分析 ・顧客行動 ・モバイルアプリ改善 ・商品、サービス改善
• 顧客の“待ち時間”解消が目的
• 2015/9よりモバイル注文、決済サービス(Mobile Order & Pay)を全米7,400店で展開
• 顧客満足度向上のための更なる取り組み – 顧客データと、アプリ、ビーコン、Wi-Fiなどの ログデータを横断した分析
– 店舗分析、新商品開発と改善
– プロモーション効果、顧客行動、顧客ニーズ分析
– 顧客満足度のさらなる向上へ
SQL アプリログ
Beacon Wi-Fi
グローバルコーヒーチェーン様
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
お客様 事例
データを集約し、顧客の真の姿を捉まえる
6
グローバル飲料メーカー様
• ラテンアメリカ最大のビール会社
• 顧客360°分析システムの構築 – マスマーケティングから、1-1マーケティングへ
– 需要予測、消費動向把握、価格戦略
• 課題: データが目的別のクラウドに分散化
• 解決策: サイロ化した顧客情報をOracle Big Data Cloud(Hadoop)上に集約
• 集約されたデータを、業務ユーザーに公開 新たなマーケティング施策を立案、実施
Big Data CS
Big Data Discovery CS
Database CS BI CS
探索
分析
3rd Party E-コマース Social Mobile 外部データ 他クラウド
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
オラクル 活用事例
オラクルによる営業効率化、Engineered Sales Play
7
オラクル・コーポレーション
• 購入可能性の高い潜在顧客を把握し、 営業活動の効率化が目的
• 様々な顧客情報を用い、機械学習により 購入予測モデルを構築、存在顧客を明確化
• 各ステージごとのアクションの明確化、 デジタルマーケティング活用により、 営業サイクルを効率的に回す仕組みづくり
• 改善された営業活動 – 3倍のオポチュニティー創出
– 高いコンバージョン率
– 優先度の明確化 購買履歴 マーケティング 反応
サポート問い合わせ 顧客情報
担当営業に 潜在顧客を通知
事前定義された マテリアルで営業活動
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ活用のためのインフラ観点でのポイント
8
「手段」が「目的」とならないために
データを集約する
データ活用の幅を広げる
テクノロジーの恩恵を 活用する
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり!
Oracle Big Data Management System
9
データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
データ蓄積 基盤
Database Hadoop NoSQL
・最適なデータ蓄積基盤で
データ活用 言語
データ活用 エンジン
SQL REST Python Graph R node.js Java
Machine Learning
Graph Engine
SQL Engine
・使いなれたツールやスキルで
・すべてのデータを
・活用に最適なエンジンで Spark
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
業務 アプリケーション
オペレーショナル レポーティング
RDBMS
成功のポイントはデータベースとの共存にあり!
HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
ソーシャル メディア
IoT
73° Big Data
Management System
Hadoop
アナリティクス
• Hadoopの特長 – Schema-On-Readによる柔軟性
• 格納時にデータスキーマの考慮不要、 利用時に定義
• レイアウトが変わるデータに向いている
–高速なデータ加工・編集・集計処理 • 並列分散処理システム
• Sparkなどの豊富なエコシステム
–低いバイト単価 • ストレージコストの低下の恩恵
10
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり!
Oracle Big Data Management System データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか
目的 パターン・データ
特性 Hadoop DWH/RDBMS
バッチ処理・ データ加工
バッチ処理と 生データ保持
ETL処理、生データ 処理後データ
データ 分析
データ密度・ データ価値
低い 高い
フォーマット 変更頻度
多い 少ない
粒度 細かい 粗い
参照頻度 少ない 多い
SAS 高速化基盤
センサーデータ、 ログデータ、GPSデータ、SNS等
既存のRDBMS内のデータ (マスターデータ/
トランザクションデータ)
明細データ サマリデータ
経年データ アクティブデータ
11
バッチ処理・データ加工 前の生データ
ETL処理・データ加工後の データ
SAS アナリティクス高速化基盤
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
お伝えしたい要点を支える製品・機能・サービス
オラクルが提供するHadoopソリューション
12
Hadoop活用の障壁を下げる HadoopとRDBMSを密連携させる 環境構築・運用・管理を もっと簡単に、早く、安く
Oracle Big Data Appliance
両者間のデータ移動を もっと早く
Oracle Big Data Connectors
もっと多くの人にデータを 開放する
Oracle Big Data SQL
HadoopからDBのデータを使う Oracle Table Access for Hadoop and Spark
もっと簡単に有益な データを見つけだす
Oracle Big Data Discovery
ライフサイクルを見越した データ管理をする
Copying Oracle Tables to Hadoop
Hadoop上での処理を もっと簡単に構築する
Oracle Data Integrator
他システムと密に連携する Oracle’s Big Data Integration
ビッグデータ環境をセキュアなクラウド環境で実行する Oracle Big Data Cloud
Hadoopのアプライアンス製品のご提供 1
HadoopとOracle DBとの連携を強化するソフトウェアのご提供 2
ビッグデータ活用環境をクラウド上でご提供 3
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで
13
・データ蓄積可能な、高パフォーマンスなお客様専用環境 ・月額定額料金、クエリ実行に課金なし ・すぐに構築、柔軟なスケールアップも可能
1.多様なデータを 専用環境上に すぐに蓄積可能
・Cloudera HadoopのエコシステムやSparkも利用可能 ・オラクルのビッグデータ分析ツールを包含 (R言語、空間分析、グラフ分析、画像分析) ・データロード、データ加工を実現するETLツール包含
2.ビッグデータ分析・ 活用ツールを含有
・Oracle Exadata CSとの高速連携 クラウド上でビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL CS により、 SQLで高速かつセキュアにアクセス可能 ・SaaSやPaaSなど他クラウドとの密連携
3.他クラウドとの 密連携
Big Data Cloud Service
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service 高パフォーマンスな専用環境をすぐに活用可能
14
• 専用環境 –ハイパフォーマンスを実現するための専用環境
– Hadoopエンタープライズ実績の豊富なCloudera搭載
• 可用性 – 3ノード(96 OCPUs、144TB) から
–必要に応じて、1ノードからスケールアップ可能
• 数クリックで構築 –複雑で面倒なHadoop環境を数クリックで構築
• セキュア –ケルベロス認証やApache Sentryといったセキュアな
Hadoop クラスタ環境を数クリックで構築
–データの暗号化
1.多様なデータを専用 環境上にすぐに蓄積可能
Big Data Cloud Service
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service ビッグデータ活用のための製品も含有
15
• Hadoop, Sparkをクラウドで – Cloudera Enterprise (Data Hub Edition) 5.X
• Cloudera Impala • HBase (as well as support for Accumulo) • Cloudera Search • Apache Spark
– Cloudera Manager
• オラクルのビッグデータ製品も含有 – Oracle R Distribution – Oracle Big Data Connectors – Oracle Data Integrator and Big Data Extensions – Oracle Big Data Spatial & Graph
2.ビッグデータ分析・ 活用ツールを含有
Big Data Cloud Service
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
16
Oracle R Advanced Analytics for Hadoop
・RとHadoopを活用した分析の ためのソフトウェア
・R言語のみでデータマイニングの分散並列処理が可能
・HDFS上のデータへR言語から アクセス
・Spark対応
Oracle Big Data Spatial and Graph (Spatial Analytics)
・豊富な空間演算関数
・近傍情報、ジオフェンス判定
・位置情報への付帯情報の付加
・空間データ、ラスタ(画像) データの加工・準備
Oracle Big Data Spatial and Graph
(Graph Analytics)
・プロパティグラフ
・標準のグラフ分析関数
・ソーシャルメディア分析
・IoT
・サイバーセキュリティ
オラクルのビッグデータ分析ツールを包含、活用可能
2.ビッグデータ分析・ 活用ツールを含有
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能
17
• ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード
• 追加オプションでSparkやPigのコードを 生成する事が可能
• Hadoopの最新技術を活用した、高速な インメモリ処理がGUIで定義可能に
Hadoop Cluster
f(x) MapReduce
Data Load
Oracle Database
Oracle Data Integrator
Application Adapters for Hadoop
2.ビッグデータ分析・ 活用ツールを含有
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service 他Oracle Cloudとのデータ連携により、クラウド上でデータマネジメント基盤を構築
18
3.他クラウドとの密連携
• Oracle Storage Cloudとの高速データ連携
• Oracle Database Service Exadata Service との40Gb/s Infiniband での高速データ連携
• SaaS,PaaS,IoT Cloudなど、他のOracle Cloud とのデータ連携
• Oracle Big Data SQL Cloud Service により、 クラウド上のビッグデータマネジメント基盤上のデータにSQLでアクセス可能
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Serviceお客様事例
新たなデータを活用し、顧客の真の姿を捉まえる
19
Data Warehouse (Exadata)
Data Marts (Exalytics)
売上
POS 在庫 商品
店舗
Data Factory (Big Data Appliance)
?
SNS 位置情報
機器・センサー
Database Cloud
Service
Big Data Cloud
Service
PaaS SaaS DaaS • 新たな分析ニーズ、新たなデータ活用ニーズ
– 上市後の市場反応を早く把握し、生産計画に反映したい
– 現象のその裏の理由を把握したい「なぜ起きたのか?」
• 解決策 – 新たなデータ蓄積、加工のためのデータファクトリー構築
– 20%の分析生産性向上、50%以上の意思決定時間短縮
• クラウドへのニーズの高まり – 柔軟な拡張性、コスト、さらに多くのデータ
• Why Oracle Big Data Cloud? – 既存技術、既存資産の活用
– IoTデータ、DaaSなどの新たなデータ活用
– PaaS、SaaS、BPaaSなど他Cloudデータのクラウドでの活用
– セキュリティ、エンタープライズ活用
グローバル消費財会社様
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
近日リリース予定 Oracle Big Data SQL Cloud Service ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに
20
既存のアプリ、ツール、スキル
そのままで全てのデータが活用可能
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ユースケース 製造業
製造業におけるトレーサビリティ、原因分析、予兆分析
21
• 生産条件データをHadoopへ、ERPデータはRDBMSへ
• SQLの標準関数であるパターンマッチングを活用
• 類似生産条件が発生した製品、該当ロット、顧客先、 担当営業、担当サービス員の特定
– 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上
– サービス員作業計画作成、二度手間の省略、 非計画サポートの削減
• 新たなアラートしきい値の設定
– 将来の歩留り向上
– 問題発生前の予兆、早期発見
製造業での活用例 既存アプリケーション
BOM 製造/ MES
サービス 出荷 機器ログ MES
Hadoop RDBMS
ロット特定
関連する 生産条件
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ユースケース 製造業
製造業におけるトレーサビリティ、原因分析、予兆分析
22
• 生産条件データをHadoopへ、ERPデータはRDBMSへ
• SQLの標準関数であるパターンマッチングを活用
• 類似生産条件が発生した製品、該当ロット、顧客先、 担当営業、担当サービス員の特定
– 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上
– サービス員作業計画作成、二度手間の省略、 非計画サポートの削減
• 新たなアラートしきい値の設定
– 将来の歩留り向上
– 問題発生前の予兆、早期発見
製造業での活用例
ロット特定/ 作業指示
類似パターン の発見
既存アプリケーション
BOM 製造/ MES
サービス 出荷 機器ログ MES
Hadoop RDBMS
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery Cloud Service Data Lab:データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか
23
多種多様なデータの 把握、理解
信頼されたユーザーへデータの公開
アジャイルかつ迅速な 試行錯誤
試行錯誤のための サンドボックス環境
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery Cloud Service Data Lab:直感的なUI画面でデータ分析前の1000本ノックをアジャイルに迅速に繰り返す
24
1.Hadoop上のデータ を可視化、タグ付け
2.データの値特性、 品質、分析価値 有無を可視化
3.データの因果関係、 説明変数のシミュ レーションと把握
4.次の分析のために データ加工
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Database Cloudを使って機械学習
25
Database上のデータで、セキュアに、高速に、機械学習を実現、アプリに組み込みも可能
Oracle R Enterprise
• 利用者の多いオープンソースRの統計言語 • データベース上でRを高速に実行 • 広範で高度な統計解析のための関数を提供
Oracle Data Mining
• GUIによる機械学習 • データベース内部でマイニング処理 • 作成したモデルをPL/SQLでアプリに組み込み可能
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
クラウドでのデータ活用のハブとなるBig Data Cloud Services データの蓄積・加工・分析など、クラウド上での全ての機能実現を支える中核基盤
26
蓄積
把握・加工
分析
意思決定
アクション
収集
26
Database
Business Intelligence
Big Data Discovery
SaaS
IoT
GoldenGate
Big Data SQL
and other PaaS, SaaS, IaaS ..
Big Data Cloud Service
Data as a Service
Big Data Preparation
NoSQL
Other Cloud Service
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Cloud 基本戦略
28
On-Premises
DEVELOP AND DEPLOY ANYWHERE
Public Cloud
同じ「アーキテクチャ」 同じ「オラクル製品」 同じ「知識・ノウハウ」
Cloud at Customer
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
広がるビッグデータ活用環境の選択肢
29
お客様データセンター
購入
お客様による管理
専有環境
Big Data Appliance
お客様データセンター
サブスクリプション
オラクルが管理
専有環境
近日リリース予定 Big Data Cloud Machine
Oracle Cloud
サブスクリプション
オラクルが管理
専有環境
Big Data Cloud Service 近日リリース予定 Big Data Cloud Service – Compute Edition
Oracle Cloud
サブスクリプション
フルマネージド
共有環境
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
近日リリース予定 Oracle Big Data Cloud Machine
30
特徴 • オラクルがハードウェアを所有 • Oracle Big Data Cloud Serviceと同じ構成
– Oracle が管理、事前テスト済
– スモールスタート、シームレスに拡張可能
• オラクルが Big Data Infrastructure をデプロイ/管理
– お客様は Cloud Tools を利用して、 Hadoop クラスタのデプロイ/管理を実施
利点 • 高パフォーマンス • セキュアな環境 • 包括的なソフトウェアを含有
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
近日リリース予定 Oracle Big Data Cloud Service – Compute Edition
31
新たなビッグデータ活用をクラウドで実現
• Spark, HDFS services
• Kafka
特徴
• Elastic
• 共有コンピューティングノード、ストレージ
• フルマネージド
cloud.oracle.com/hadoop cloud.oracle.com/kafka
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ活用のためのテクノロジー観点でのポイント
33
「手段」が「目的」とならないために。成功の肝となるのはデータマネジメント
データを集約する
データ活用の幅を広げる
テクノロジーの恩恵を 活用する
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 34
Oracle IoT/Big Data & Analytics 全体像
Data Factory データの取得・処理
Data Management データの蓄積
Data Analytics データの分析・判定
Action アクション
IoT
GoldenGate Big Data
Preparation
Big Data Database
Marketing Sites
Application NoSQL
Storage
ERP
ストリー
ミング
R on Hadoop (**)
Big Data Discovery Spark (**)
Spatial & Graph on Hadoop (**)
BI Data Visualization
Spatial & Graph in Database (*)
SQL Big Data SQL
and other Paas,SaaS
Data Lab 試行錯誤と検証
Data Integration on JCS
R in Database(*)
IoT Analytics
バッチ
/セミストリーミング
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 35
Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。 電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。
もちろん、無償。どんなことでも、ご相談ください。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 36
Big Data Cloud Service詳細はこちら https://cloud.oracle.com/ja_JP/bigdata
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
技術情報
• SlideShare
– Big Data Hadoopソリューション • OracleのHadoopソリューションご紹介
• Oracle Big Data Cloud Serviceのご紹介
• Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase2016)
• OracleとHadoop連携の勘所 (Oracle DBA &Developers Day2016資料)
– Oracle Advanced Analytics • Oracle Data Miner Tutorial (Data Miner のセットアップ、表データの加工とモデル構築)
• Oracle R Enterprise(Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方)
– Oracle R Advanced Analytics for Hadoop • Oracle R Advanced Analytics for Hadoop利用方法
oracle4engineer
37