<Insert Picture Here>

Oracle Big Data Solution

大数据有大智慧

祁国辉

Oracle Sales Consultant manager

Why 大数据

• 社交网络

• UGC

• Sensor

• 物联网

• 网络数据

• RFID

• CX

大数据之前世今生

大数据的胜利

•“我们要用数据去衡量这场竞选活动中的每一件事情。” -- Obama竞选活动经理Jim Messina

•竞选总部任命Rayid Ghani为“首席科学家”

•Ghani和他的团队将试图挖掘选民在公开市场上可得的行动、行为、支持偏向方面的大量数据，并预计出选民的选举模式，这将使奥巴马竞选团队的花费更加精确和有效率。

•新的大数据库能让竞选团队筹集到比他们曾预料到的更多的资金

•“我们每天晚上都在运行66000次选举。每天早上，我们都会得出数据处理结果，告诉我们赢得这些州的机会在哪，从而我们去进行资源分配。”

•华盛顿那些基于直觉与经验决策的竞选人士的优势在急剧下降，取而代之的是数量分析专家与电脑程序员的工作

•新的互联网，新的候选人，新的操盘手，一场新

式的选举，创造出一个新媒体时代的总统。

大数据特点 - 4个V • 巨大的数据量 Volume • 集中储存/集中计算已经无法处理巨大的数据量

• 新浪微博用户数2.5亿+，高峰每天几亿条

• 仅一个百万家庭级别城市的智能电网每月可产生数十亿的智能电表数据

• 2015年全球移动终端产生的数据量将达到6300PB

• 非结构化数据无固定格式变化多 Variety • 文本/图片/视频/文档等

• 并发极高，增长速度很快 Velocity • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长

• 充分利用消息价值 Value • 单条数据本身并无太多价值，但庞大的数据量累积并隐藏了巨大的财富

• Volume, Variety, Veloctity, Value正是大数据的特点，具有4V特性的数据称为大数据。

组织内部员工

• 一线员工

• 企业中层

•10000+用户

消费者

• 数字一代

• 线上线下

•10000000000+用户

企业的数据金字塔

전략구분

组织决策层

• CXO

• 决策层

•100+用户

一个大数据应用的例子

采集客户在购物中心的行进路线，定点定时推送手机广告和优惠券

采集客户购物中心相关的微博，Facebook等评价信息

定时跟进促销效果，调整营销策略

전략구분

挑战 解决方案

• 大数据的采集源甚至来自于企业数据库，数据仓库和ERP系统，而非仅仅来自于机器和网络

• 多达PB级的大数据如何处理？

• 大数据如何与既有的数据仓库集成？

• 需要雇佣大量的Hadoop的开发者？

• 如何解决原有的BI工具与Hadoop

的结构的集成问题？

大数据提纯后的结果举例

• 需要解决从多种数据源获取数据的工具和能力

• 引入具有商业服务的Hadoop产品和服务

• 解决Hadoop和DW/BI系统之间的数据搬迁和集成

• 减低高门槛的Map Reduce编程

大数据处理的闭环

43%的客户在缺货时，放弃全部购物，其中21%的客户会在网络上发布恶评。

48%的手机微博用户，使用推送到手机的折扣券，其中15%的客户在网络上传播

分析

决策 捕获

组织

전략구분

传统DW难以处理大数据

• 大数据的4V特点： Volume, Variety, Veloctity, Value

•传统DW系统不适用于大数据的分析 • 数据量过于庞大，集中存储/集中计算很难获得令人满意的效果

• 绝大部分数据是垃圾，全部放入DW中是对资源的浪费

• 传统DW在应对大数据的多样化格式上比较吃力

•需要革新性的技术手段 • 海量数据“分而治之”------批量分布式并行计算Hadoop

• 海量数据“灵活多变”------实时分布式高并发数据存取处理NoSQL

• 海量数据“跨越鸿沟”------大数据超高速装载进数据库

架构变革 - 传统数据仓库 vs Big Data

+

Moving central data to computing vs Computing distributed local data

Bla 决策

• 深入分析

• 敏捷开发

• 高可用

• 实时响应

•高吞吐

•就地数据就绪

•多种数据源和数据结构

•可预测的低延时

•高吞吐高交易

•灵活的数据结构

大数据的建设

获取 组织 分析

• 数据驱动

• 应用分析

• 实时高效

• 业务提升

获取 --- Oracle NoSQL 数据库

键值对数据库 动态数据模型 高度可伸缩、高度可用 透明负载平衡 基于 BerkeleyDB 而构建

存储节点 数据中心 A

存储节点

数据中心 A

NoSQLDB Driver

Application

NoSQLDB Driver

Application

NoSQL到底是什么？-- 不需要SQL的非关系数据库

例： 我们要描述学生的所有信息？

SQL+关系数据库（Oracle）

学号 姓名 地址 爱好1

爱好2

爱好...

爱好N

001 张三 北京 有 无 有

002 李四 上海 无 无 有

……

00M 王麻子

广州 有 无 无

其实通常情况下，我们会设计学生基本信息表，爱好表，学生爱好对照表三张表；

NoSQL数据库

学生1：

姓名：张三

地址： 北京，上海

爱好： 爱好1，爱好N

学生2：

姓名：李四

地址：北京

爱好：爱好N

……

学生M：

姓名：王麻子

地址：广州

爱好：爱好1

无模式限制，格式自由，灵活。适合非结构数据存储查询

获取 --- Hadoop Distributed File System

数据块

复制因子 2

• 冗余存储的分布式文件系统 • 可靠并高度可伸缩的数据存取能力 • 针对大数据量、低密度数据的经济高效文件系统

组织 --- Hadoop 架构

管理/监视

Hadoop 分布式文件系统 (HDFS)

MapReduce

采用冗余存储的分布式文件系统 Map/Reduce 编程范式 高度可伸缩的数据处理能力 针对大数据量、低密度数据的经济高效的模型

Hadoop到底是什么？--- 核心是Map/Reduce

例： 我们要数图书馆中所有书名中含“Oracle”的数量，怎么数效率最高？

你数1号书架，我数2号书架。我们人越多，数书就更快。这就是map。

最后我们到一起，把所有人的统计数加在一起。这就是Reduce。

……

一号书架 二号书架 三号书架 N号书架

…… +

Map

Reduce

对海量非结构数据的这样一种分布式并行处理架构，就是Hadoop的实质，与我们熟悉的数据库技术不同

Big Data的核心 – 分布式计算/超大数据集

Hadoop

Map/Reduce框架实现

开源项目家族

分布式超大数据集计算

平台

分布式文件系统 NoSQL

数据格式灵活多变，模型简单，关

系偏弱

开源产品众多没有标准，编码存取数据

分布式海量数据存取和处理

解决方案

高吞吐、高并发、高可用、高分区

容错性

批量/非实时 实时/高速

大规模分布式部署在廉价PC服务器

集群上

组织 --- 跨界集成 Oracle Big Data Connector

OLTP Data Warehouse

非结构化

半结构化

数据

结构化

数据

ODI Adapter for Hadoop

Oracle Loader for Hadoop

Oracle Direct Connector for HDFS

Oracle R Conector for Hadoop

分析 --- 大数据的挖掘分析技术

Oracle R Connector For Hadoop

R

• 开源Oracle R版本 • 专业级行业级数据统计分析挖掘展示

• 只能用于普通工作桌面机/笔记本

• 与Hadoop的连接

• Oracle R Connector for Hadoop

• SAS最主要的竞争对手，号称开源的SAS

• Oracle R Enterprise • 与开源R完全兼容

• 部署在数据库服务器上

• Advanced Analytics(ORE+ODM)

ORE

决策 --- 大数据决胜千里

Oracle R Connector For Hadoop

R

• Oracle Business Intelligence Enterprise Edition • 数据辅助决策利器

• 专业的商务智能套件

• 强大的多维数据分析

• 丰富的图文展现

• Oracle Exalytics • 强大的软硬件优化工程一体机

• 全内存运算的商务智能软件 • Timesten + BIEE + Essbase + 优化集成

• 快速闪念的思维和决策

ORE

BIEE

Oracle面向大数据的集成解决方案体系

捕获

Oracle NoSQL数据库

HDFS

企业应用程序

组织

Hadoop (MapReduce)

Oracle Loader for Hadoop

Oracle Data Integrator

决策

分析

应用程序

分析

数据

库中

的分

析

数据

仓库

Oracle大数据云平台解决方案体系

Oracle Big Data

Appliance

Oracle Exadata

InfiniBand

捕获 组织 分析

InfiniBand

Oracle Exalytics

决策

• 软件部分 • Oracle Linux / Oracle JDK • Cloudera Hadoop

Distribution • Cloudera Manager • Open-source R distribution • Oracle NoSQL Database

Community Edition ***

• Oracle Big Data Connector • ODI Adapter for Hadoop • Oracle Loader for Hadoop • Oracle Direct Connector for

HDFS • Oracle R Conenctor for Hadoop

• 硬件部分 • 18 Sun X4270 M2 服务器

• 每台2 CPUs * 6核

• 每台48 GB内存(可扩展)

• 12 * 3TB 磁盘空间

Raw Storage: 648T

Core Count: 216核

• 网络部分 • 40Gb InfiniBand

• 10Gb 以太网

*** No Support for free NoSQL CE. NoSQL EE needs license.

Oracle Big Data Appliance

Oracle Exalytics -- 商务智能云服务器 整体设计，卓越分析

硬件：

•40 个 Intel 处理器内核

•1 TB 主存

•到 Oracle Exadata 的 40 Gb InfiniBand 连接

软件：

•Oracle TimesTen 内存数据库

•Oracle Essbase In Memory

•Oracle Business Intelligence Foundation Suite

Oracle大数据解决方案

软件 软硬一体机

结构化数据 Oracle Database Exadata

非结构化数据 Cloudera Hadoop

Oracle NoSQL Database

Big Data Appliance

结构化+非结构化数据 Oracle Database

Oralce NoSQL Database

Cloudera Hadoop

Big Data Appliance

+

Exadata

大数据下的分析技术 BIEE

R

Oracle R Enterprise

Exalytics

大数据云计算平台 Big Data Appliance

+

Exadata

+

Exalytics

Hadoop与数据库的连通 Oracle Big Data Connector

Questions

Oracle Exadata

Exadata Storage Layer

Smart Scan EHCC Flash

分析 --- 利用Exadata/Oracle加速大数据分析

XML Relational OLAP Spatial

Data Layer RDF Media

Parallel Engine In-Memory Parallel Processing

Oracle R

Data Mining Text Analytics and Search

Spatial Analytics

SQL Analytics

Oracle MapReduce

Open Source

Analytics

Hadoop

External Data

Weblogs XML

Media Social Data

Text

NoSQL DB

Massive Scalability

Everything Parallel

Deep Analytics

Real-Time

Private Cloud

Se

cu

re

Open source

Analytics

Big Data Appliance