透视云计算热点及其应用

刘 鹏 gloud#126.com中国云计算 www.chinacloud.cn

国内外动向

2

云计算发展的驱动因素

新摩尔定律

• 全球数据总量每 18 个月翻番。

• 大数据已经成为一种自然资源

• 大数据不被利用就是成本

数据利用比例直降

• 计算速度越来越快，企业却越来越笨。

• 今天很多企业能弄懂7% 的企业数据，但这个数字很快会下降到4% ，然后继续螺旋式下降。

IBM 实体分析首席科学家 Jeff Jonas

数据使用率提升 10% 的影响

云计算是网络发展的必然结果

云计算技术体系结构

管理中间件

资源管理

任务管理

用户管理

负载均衡 故障检测

映像部署和管理

使用计费用户环境配置 用户交互管理

故障恢复 监视统计

帐号管理

安全管理

访问授权

综合防护

安全审计

服务接口 服务注册 服务查找 服务访问 服务工作流

SOA构建层

计算资源池资源池

计算机 存储器 数据库物理资源

存储资源池 网络资源池 数据资源池 软件资源池

软件网络设施

身份认证

任务执行任务调度 生命期管理

Google 云计算关键技术

– Google 文件系统 GFS(Google File System)– 并行数据处理 MapReduce– 结构化数据表 BigTable– 分布式锁管理 Chubby

MapReduce BigTable

GFS

Chubby

Google 文件系统 (GFS)

Google48%

MSN19%

Yahoo33%

客户端

客户端客户端互为

备份

管理节点

GFS 主节点

GFS 主节点

C0 C1

C2C5

数据结点 1

C0

C2

C5

数据结点 N

C1

C5

数据结点 2

…

客户端客户端

客户端客户端

客户端客户端

C1

2010 年，由于数据中心和远程通信网络的快速增长，

使得用电量激增，从而对气候变暖产生极大的负面影响。

到 2020 年，数据中心将消耗的电力资源，比法国、德

国、加拿大和巴西目前消耗的电力总量还要多。

绿色和平组织的报告

云计算给用户体验带来的革命

小小终端 = 超级计算机

更加智能的服务

如影随行的私人数据中心

服务器永远不会塞车

90% Off 的价格

信息随手可得

计算智能将大幅提升

淘宝分布式数据处理

云可靠性研究小组

云可靠性研究小组

云操作系统 WebQQ2.0

腾讯 PaaS

百度框计算

22

新浪 Sina App Engine

云计算热点

24

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云计算的安全威胁与应对

安全挑战

• 数据泄漏• 数据所有权失控• 虚拟机隔离性• DOS 攻击• 恶意代码• ARP 攻击• 内部人员越权

应对措施

• 虚拟机隔离• 加密数据• 数据校验• 安全传输• 最小权限控制• 安全认证• 增强监控

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云数据中心开源与普通数据中心相比， Facebook 数据中心的能效高 38% ，建造成本低 24% 。

云数据中心开源

俄勒冈州普林维尔 (Prineville)

云数据中心开源

云数据中心开源

电池柜提供备用电源

云数据中心开源

云数据中心开源

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云计算的能源问题

Atlantic Wind Connection( 大西洋风力传输， AWC) 计划。总成本约 50亿美元，Google 将提供该计划 37.5% 的资金

Intel太阳能面板阵列充分吸太阳能可以产生 10千瓦的电力，为数据中心提供部分的电力。

微软的节能措施

微软的节能措施

云计算的能源问题

云计算的能源问题

Google 的节能措施

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云计算平台 -- 盛大

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云计算应用

Hadoop 节点数： 15000 最大 Hadoop集群 : 3000 节点每天输入数据： >10PB

云计算应用：复杂查询

云计算应用：淘宝网

• 10亿计的在线宝贝数

•注册用户 4亿，单日 UV峰值 6000万

•千万量级交易笔数，单日成交峰值 19.5

亿

云计算应用：淘宝网

• 50G 统计汇总结果

• 千万量级数据查询请求

• 平均 20.8ms 的响应时间

1500 节点，每日 40000 JOB ，处理数据1.5PB ，凌晨 2 点结束，结果 20TB

云计算应用：淘宝网

Source：淘宝网 剑英 《 HBase简介与实践分享》

云计算的热点问题

云计算安全

云数据中心建

设

云计算的能源

问题

云计算平台

云计算应用

云计算标准

云标准组织及方向正在制定云计算标准的组织

• CSA（云计算安全联盟）• DMTF（分布式管理工作组）• ETSI（欧洲电信标准化协会）• IETF（互联网工程任务组）• ITU（国际电信联盟）• NIST（国家标准与技术研究院）• OASIS（结构信息标准化促进组织 )

• OCC (开放云计算联盟）• OGF（开放网格计算论坛）• OMG（对象管理组织）• SNIA（存储网络行业协会）

云计算标准可能涉及的方向

• 跨云的联合安全• 云之间的元数据和数据交换• 不同云平台之间迁移应用• 描述资源能力和需求• 云的监控、审计• 云计费、报告、通知的标准化• 与云资源交互的通用形式• 云的策略和控制的表示方法• 云开发、部署、移植工具• 创建跨多个云的应用的开发包• 机器可识别的服务水平协议

进一步阅读

53

网格计算池—国内云计算的提出

http://www.chinacloud.cn

http://www.thebigdata.cn

谢 谢！刘 鹏 gloud#126.com

中国云计算 www.chinacloud.cn 中国大数据 www.thebigdata.cn