中国移动私有云平台体系架构分享

• 王烨

• 中国移动通信集团公司网管支撑处副经理

1

2

3

4

中国移动私有云现状

私有云管理面临的挑战和解决思路

私有云管理平台技术架构

思考和展望

l一级私有云l已建设3个私有云一级资源池，总规模为近万台PC服务器。在建资源池2个，规模6千余台。l一级资源池已承载约60多个应用，包括业务平台、业务支撑、网络管理、企业信息化等领域系统。

l各省公司私有云l全国已建设私有云资源池上百个，PC服务器总规模上万台，单资源池平均规模为百台级l全国31省均已建设私有云资源池，其中19个省已建1-3个资源池，12个省公司已建3个以上。

全网初步形成两级资源池布局，现阶段以提供IaaS基础资源服务为主

中国移动私有云现状

中国移动私有云资源池建设的总体目标

1

2

3

集中管理

资源共享

按需分配费用 需求

资源

运营

产品

l “一级平台、两级管理”。

l 重点建设 IaaS 能力，逐步发展PaaS、SaaS。

l 依托开源社区，立足自主研发。

中国移动私有云发展策略

l 结合业务需求，深度定制，迭代开发。

• 积极参与云计算的行业协会、标准化和开源社区工作，是工信部主导的开源产业联盟（OSCAR）和中国开源云联盟（COSCL）两个组织的副理事长单位，并主导千节点云平台工作组；

• 在Linux,Openstack，SheepDog等开源社区中的贡献名列前茅，多次举办开源社区峰会，在开源社区中具有较强的影响力。

• 在国家信标委的云计算标准工作组中牵头制定多项国家标准，其中弹性计算和对象存储的两项标准已经发布，正在牵头制定块存储和云运营等两项国家标准。

10月份Openstack峰会，中国移动正式成为enstack 黄金会员和超级用户。

积极参与开源社区并推动标准化工作

从OpenStack Juno版本开始，中国移动成长为中国十大OpenStack公司之一；

截止到目前，提交了513个patch， 251个bug和8个blue prints。

1

2

3

4

中国移动私有云现状

私有云管理面临的挑战和解决思路

私有云管理平台技术架构

思考和展望

A业务CPU利用率

平均值长期低于1%

峰值长期低于7%

资源池地域分布广

资源利用不均衡

设备型号多

挑战 No1. 资源池分布广、设备种类多

Storage

Storage Compute

Compute

Compute

Memory

Memory

Bandwidth

Bandwidth

传统业务云化和新增业务带来多样化需求。

挑战 No2. 承载业务需求多样

挑战 No3. 资源池规模大

u 私有云资源池的规模不断扩大

p 现有资源池PC服务器规模超过3万台

p 未来规划机架数量超过10万架

p 分布在全网多个数据中心

u 云资源管理技术面临挑战

p 突破单个OpenStack管理规模的局限性

p 对分布在多个地点的资源池实现统一的资源管理

Cloud

10

资源管理

资源管理

资源管理

资源管理

阶段三 一级平台、两级管理（2019-2020）

阶段二 平台融合、省内整合（2017-2019）

阶段一 统一视图、制定标准（2016-2017）

私有云资源池管理平台的实施步骤

产品规格定义

计算产品规格（14）

存储产品规格（6）

网络产品规格

私有云资源池产品规格的统一定义

制定统一产品规格

• 预定义/自定义

• vCPU核/内存容量/根分区磁盘容量

引入SDN技术

提升整合比及资源利用率

提高虚拟化比例

简化资源池的基础硬件的规格型号

资源池设计和实施的基本策略

1

2

3

4

中国移动私有云现状

私有云管理面临的挑战和解决思路

私有云管理平台技术架构

思考和展望

云资源

管理平台

远端资

源管理

模块

防火墙机架服务器 SDN 防火墙机架服务器 磁盘阵列 SDN

总体技术方案总体技术方案

OpenStack组件的选择和应用

u总体架构中Openstack定位于资源调度

p 运营和运维：一级私有云运营功能定制化程度高，运维对接设备复杂，Openstack现有组件无法满足要求，采用定制化开发方式实现

p 资源调度：一级私有云资源模块包括虚拟机、物理机、块存储、文件系统和SDN等，架构上结合属地的资源模块类型选择NOVA、Ironic、Cinder、Manila和Neutron等组件

u各个组件在社区版的基础上依据呼哈私有云的业务需求进行了功能增强定制

组件 功能定制

Keystone 社区版

Glance 增加异地备份功能

Nova 支持SAN设备多路径、支持本地虚拟机热迁移、支持本地+共享存储的混合存储类型虚拟机热迁移、支持存储热迁移、支持卷共享

Cinder 支持镜像缓存、支持增量备份

Ceilometer 支持从虚拟串口采集虚拟机性能数据、支持使用时间序列数据库保存数据

Neutron 深度定制，厂家SDN、Ironic功能对接

Ironic 深度定制，增强存储和网络功能

OpenStack组件的选择和应用

几个关键的技术问题

u 采用多region架构解决大规模资源的统一调度

u 引入混合SDN架构提供更加丰富灵活地网络服务

u 引入Ironic管理物理机集群资源

瓶颈：数据库、消息队列

02 面临问题和挑战

呼和浩特资源池管理1800台虚拟化服务器和1200台物理裸机。

01 建设需求

堵塞严重规模大

03 解决方案比较和选择

单Region部署 Nova � Cell部署 多Region部署

关键技术问题解决 –多 Region  方案

尽量减少Region的数量 多Region间组件尽量共享

关键技术问题解决 –多 Region  方案

01 业务需求 面临问题和挑战02 0103 解决方案

组网灵活性要求高网络运维自动化

原生态的Neutron组件扩展性不够 引入混合SDN解决方案

关键技术问题解决 –灵活的组网方案

核心生产区

AZ1-­‐DMZ

Region1

AZ2-­‐CORE

AZ1-­‐DMZ

Region2

AZ2-­‐CORE

AZ1-­‐DMZ

Region3

AZ2-­‐CORE

AZ3-­‐STORE

DMZ区

存储区

呼和浩特资源池

01 业务需求 01 面临问题和挑战02 0103 解决方案

安全域划分 原生的OpenStack技术框架缺少对安全域的支持 借用AZ实现安全域的隔离

关键技术问题解决 –安全域的划分

n物理机/虚拟机统一调度，集中监控。

n社区版本不成熟

n推动 Ironic 组件的逐步完善

关键技术问题解决 –物理机的管理

1

2

3

4

中国移动私有云现状

私有云管理面临的挑战和解决思路

私有云管理平台技术架构

思考和展望

思考和展望

云已经成为电信业务的主要组成部分

l NFV/SDN 网络转型基于基础设施的云化l 运营商的云基础设施运营要求更高

开放、借鉴、引领DevOps 成为主要工作模式

l 资源整合需要重构上层业务l 云化架构追求更加高效，更加敏捷

l 发挥主导运营商作用l 积极参与开源社区工作l 合作、共赢

l 改变传统电信网络设计实施方式l 快速迭代，持续优化

Cloud

传统电信业务需要适应云化架构

中国移动在云计算领域的积累

2010.5

发布大云1.0

2011.12

私有云和移动云试点

2012.8

国家教育云上线

2014.6

发布大云3.0

2014.12 2016.3

呼哈一级私有云建设

Openstack转型

2007.7

启动大云研发项目

2009.12

搭建大规模云计算实验室

移动云正式发布

存储计算 网络弹性计算

对象存储弹性块存储

S

虚拟网络系统

管理域

运营管理

资源池管理

云计算安全

BC-Linux � (Docker）

数据中心操作系统BC-DCOS

集成中间件

弹性文件系统

云计算应用（公众服务云,企业私有云，混合云）企业网盘

应用中间件 电信能力中间件大数据中间件

云化CDN 政务云容灾备份流媒体

• “大云”产品累计申请专利182项• “大云” 产品已获得18项计算机软件著作权

• 移动云获得工信部“可信云”认证，成为首批可信云服务。

• 移动云云主机和云存储IaaS服务、“大云”弹性计算（BC-EC）和对象存储（BC-oNest）的IaaS解决方案，首批通过国家标准《信息技术、云计算、参考架构》 （等同采用ISO/IEC �  17789）的标准符合性评估。

• 大云弹性计算（BC-EC）产品，通过国家标准《信息技术 弹性计算 应用接口》基本功能的首批标准符合性测试；大云对象存储（BC-oNest）产品，通过国家标准《信息技术 云存储与管理 第2部分：基于对象的云存储应用接口》基本功能的标准符合性测试。

拥有自主知识产权

通过多项国家级测评及认证

“大云”系列产品通过多项国家评测和认证

中移大云技术社区

中国移动在云计算领域的自主研发实践

大云产品商用累计部署规模超过14000台服务器，不仅支持中国移动私有云，而且提供公有云、政务云、教育云、金融云等行业解决方案

• 基于OpenStack研发的“大云” 3.5版本、4.0版本已经在移动公有云、各省私有云上线，KVM节点累计超过5000个，VMWare节点超过1000个；

• 存储总量超过50PB，其中分布式存储40PB，盘阵10PB；

• 与Nuage合作的1000节点SDN超大集群在公有云上线

• 建设中的一级私有云，总节点数量超过6000个，并将首次在生产环境采用 Ironic � + � SDN 方案。

中移大云技术社区