IBM PureFlex Systems...

© 2013 IBM Corporation

IBM Confidential

IBM PureSystems高性能计算解决方案

预置专业模式迈入智慧运算新纪元

点击左侧按钮下载音频

http://v1.zdnet.com.cn/new/linshi/ibm/puresystems.mp3

© 2013 IBM Corporation2

1

2

3

AG

EN

DA


PureFlex Systems产品概览

简化用户体验降低整个产品生命周期的维护时间、人力、风险

计算节点

Power 2S/4S*

x86 2S/4S

存储节点V7000(可选)内置/外置

管理节点(软硬件一体 )

网络10/40GbE8/16Gb FC

扩展能力PCIe Storage

机箱14 半宽节点

PureFlex Building Blocks IBM PureFlex System


10U机架高度

支持14 个半宽节点或7个全宽节点

支持4个可扩展交换插槽

多达6个2500W供电模块，支持N+N or

N+1冗余

多达8个制冷风扇

集成机箱管理功能

IBM PureSystems产品家族的基石，面吐未来十年而设计

PureFlex企业级机箱概览

FRONT

Scalable Switch Bays

Fans

CMM

14 Node Bays(7 Full Wide)

IntegratedStorwize V7000

REAR存储节点2网络交换模块4

计算节点1

10 U

Flex System Manager

管理节点3Power Supplies (6X)

Standard Node bays


PureFlex企业级机箱和传统刀片架构对比

BladeCenter Flex Chassis

机框种类 BC-S, BC-E, BC-H（三种）Flex System Enterprise Chassis（一种，可支持丌同类型节点，

更好保护投资）

节点混插 BC-E, BC-H机箱支持P、X节点支持P、X计算节点和存储节点混插

Power处理能力

Power刀片到Power7,最高32核 Power刀片到Power7/7+,最高32核即将发布48核

背板设计有源、无导风通道无源、有导风通道

I/O支持最高支持10GbE\8Gb FC\DDR IB 当前支持10/40GbE、16Gb FC、40/56Gb IB，未来更高；

制冷域 2 4（更加精细对丌同制冷域散热）

风速调节支持支持，更精细风速控制/每一风扇速度都可以丌一样；

电源效率高达90% 高达94%

供电域 2 1（任一电源均可吐任意节点供电）


PureFlex企业级机箱散热设计

4个散热予没有热岛背板通风设计

某友商

更高的计算密度更高的稳定性可支持135W高性能处理器


PureFlex企业级机架水冷散热

机架背板水冷门设计

安装在 600mm宽的IBM PureFlex System 42U机架背端的水冷门

通过来自中央水源和经调节的冷却水，可移除功率高达 30 kw 的设备散热

无缘设备，没有任何电子设备和软件

Saving 1000btu/hr


PureFlex计算节点概览

四路至强E5节点x440

两路至强E5-2400节点x220


四路Power7节点p460

两路Power7/7+节点p260

两路Power7 Linux节点p24L

Power节点

提供针对不同工作负载优化的系统

Power7/7+节点：更高主频

X86节点：更大内存

IO扩展节点：更高带宽扩展

虚拟化整合，减少投资

强大的平台扩展能力为系统部署提供了更好的灵活性

节点类型处理器 DIMM 磁盘 IO

X220 E5-2400 2*8核 12 (384GB) 2 2

X240 E5-2600 2*8核 24 (768GB) 2 2

X440 E5-4600 4*8核 48 (1536GB) 2/8 4

P24L Power7 16核 16 (512GB) 2 2

P260 Power7/7+ 16核 16 (512GB) 2 2

P460 Power7 32核 32 (1024GB) 2 4


X86节点


PureFlex计算节点性能

0

100

200

300

400

500

600

BladeCenter PS702(3.00 GHz

POWER7,16Core)

Flex System p260(4.1 GHz

POWER7+, 16Core)

Power 740(4.2 GHz

POWER7+, 16Core)

某友商

(1.5GHz, 64Core)

375.7

485.4 508.5

341.7370

496517.1

Lin

pack

GFlo

p/s

Power服务器Linpack值比较

相当于老的Power刀片: +40% 内存带宽和+100% IO带宽

Power刀片IO带宽比较


PureFlex计算节点性能

相当于老的x86刀片及机架服务器显著的性能提升！

51.4

95.5

58.1 57.7

78.6

48.9

90.3

54.3 54.1

73.5

0

20

40

60

80

100

120

BC HX5

(E7-2870, 20Core)

Flex x240

(E5-2690, 16Core)

BC HX5

(E7-4870, 40Core)

3850 X5

(E7-4870, 40Core)

Flex x440

(E5-4650, 32Core)

CFP2006: 和传统刀片及机架服务器比较

380

507

749 757

888

370

490

732 739

863

0

100

200

300

400

500

600

700

800

900

1000

BC HX5

(E7-2870, 20Core)

Flex x240

(E5-2690, 16Core)

BC HX5

(E7-4870, 40Core)

3850 X5

(E7-4870, 40Core)

Flex x440

(E5-4650, 32Core)

CFP2006_Rate: 和传统刀片及机架服务器比较


PureFlex HPC方案交换模块

EN4091

CN4093

EN2092

EN4093

12 x 10GbE OmniPorts (6 in base + 6 #2)#1=2x40GbE2X10Gb SFP+

Base 10 x 10GbE SFP+ #2 = 4x10GbE #1 = 2x40GbE

Base 10 x 1GbE ports Add 10x1GbE Add 4x10GbE

IB6131 Infiniband交换机

>32口56Gbs Infiniband交换模块:14 internal FDR/QDR ports18 external FDR/QDR ports

>FoD Upgrade激活FDR速率

FC3171 8Gb SAN交换模块

>20口8Gb端口16 internal and 6 external ports

FC5022 16Gb SAN交换模块

>48口16Gb端口28 internal and 20 external ports

节点间延时低于0.7us 普通QDR 50%的延时


PureFlex交换模块性能


PureFlex交换模块性能

Microbursts 典型出现在数据从多个端口流入而从一个端口流出的环

IBM G8264 在60秒内可吸纳超过线速 45,200个 64字节数据帧，可吸纳 1,000 个9216字节的Jumpo帧.


PureFlex: 全面集成的单一管理界面

高度集成高效管理简化部署

Server

IBM Flex System Manager

软件部署

云计算

日常维护和升级监控和预警

虚拟化

Flex System Manager多机箱服务器存储网络

Configuration Pattern


PureFlex架构可扩展性设计

1 System 包含了计算、存储和网络

1 Rack 支持112计算节点 , 1792

核, 43TB内存, 480 TB存储和26M IOPS

1 Rack 支持4个chassis, 可扩展到4

个Rack

Power: 2/4Chip, 32Core 4.1GHz, 1024GB

X86 : 2/4Chip, 32Core 2.9Ghz, 1.5TB

OS(4) : Aix, I, Linux, Windows

VM(5): PowerVM, KVM, VMware, Hyper-V, Xen10U机箱/14节点刀片

硬件组成

• Flex System x222

• Flex System x240/x220

• Flex System x440

• Flex System p260 (P7/P7+)

• Flex System p460 (P7)

• Flex System V7000(内置/外置)

• IBM FC5022 16Gb FC Switch

• IBM EN4093 10Gb ENT Switch

• IBM IB6131 Infiniband Switch

软件组成

• FSM SW Updates V1.2

集成服务

• Lab Services Optional

• Fiber Channel Connectivity Options

全面操作系统和虚拟化支持


PureFlex架构可扩展性设计

具备一体化管理能力异构计算平台


Power节点业界领先的高可靠性

FSM独特的故障应急管理

PureFlex架构独特的高可靠性

机箱冗余/热插拔电源和散热设备

前端面板和 FRU/CRU LED

幵发代码更新

处理器重新分配

ITE 热插拔

双重 AC 电源

断电时自劢重启

内部和机箱外部温度监控

支持X8 IS DDR3 DIMM 的 64B 标记 ECC 码

系统管理报警

IBM Chipkill ECC 检测不纠正

1. 所有节点SAN BOOT，预留备用节点

2. 当服务器发生硬件故障时,FSM立刻收到报警

3. IFM自劢把故障节点的应用切换到备用节点启劢


PureFlex三种销售模式: 按需选择

客户自调优系统

最大的灵活性

盒子里的基础设施云(IaaS)

内嵌云服务管理软件

客户自调优丏家集成系统

客户自调优系统的灵活性，云的敏捷性，高性能计算

HPC 优化

Build To Order Foundation HPC Starter

为高性能计算优化配置

(计算节点, 机箱, InfiniBand交换)


1

2

3

AG

EN

DA


HPC应用领域和技术日益复杂

科学计算工业仿真和模拟互联网、金融、电信多领域（BI、大数据、风险分析）


需求和技术发展促进HPC的变革

Single System 单节点高性能计算

HPC Cluster 高性能集群计算

HPC Grid 高性能网格计算

HPC Cloud 高性能云计算


通用HPC解决方案组成

计算节点存储节点

管理节点

IO网络

管理网络管理网络

…

计算网络

集群的控制中心，负责集群管理、计算节点快速远程部署、用户登陆接口、任务调度不提交

集群中用来计算的资源通过各种网络文件系统协议(如GPFS，NFS)，给计算节点提供网络文件系统服务

集群中与为计算节点间通信的网络

可扩展存储节点

集群架构


PureFlex HPC解决方案基础架构(10Gbps网络)

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86…

计算网络

数据网络

Partitio

n1

Partitio

n2

Partitio

n3

IO

节点

Po

wer/X

86

IO

节点

Po

wer/X

86

IO

节点

Po

wer/X

86

IO节点

Po

wer/X

86

GPFS幵行文件系统

EN4093 10Gb

管理网络

DCS3700DS3500Etc…

用户访问:提交任务/获取结果

高性能计算管理节点:集群管理、计算节点快速远程部署、用户登陆接口、任务调度不提交

HA

10Gb Eth

8Gb FC


高性能计算成功: 某石油勘探

项目背景

XXXX长期采用HPC进行物理勘探及地球地震的模拟工作，由于石油勘探力度的不断加大及设备老化，客户急需采用更大规模

及更高性能的HPC系统进行日常科学计算，从而加快研究速度，减少因计算能力不足而对生产造成的影响。

客户痛点

大规模管理，稳定性要求及计算能力不足

目前平台上一套HPC已经运行了数年，硬件性能和规模已经无法满足客户现在的计算需求

基于以上原因，川庆钻探存在以下问题：

新规划的HPC系统规模较大，担任的计算任务也极为繁重，因此新的HPC系统的散热，稳定性及高性能均至关重要；

针对如此规模的HPC系统和如此高的负载，软、硬件的综合管理等方面对管理人员的工作量提出了较高的要求

解决方案计算节点:

•384台 PureFlex x240节点

存储节点:

•2台 PureFlex p260节点(GPFS)

交换网络:

•EN4093 10Gb交换模块

•SAN交换模块

根据IBM在HPC高性能计算领域多年的经验，搭建IBM软、

硬件一体针对HPC高性能计算优化的PureSystems与家集成

系统

使用IBM PureFlex系统,BNT等高性能硬件产品和成熟方案，

在获得最优性能的前提下，简化管理，保障HPC高性能计算

的正常运行，幵预留升级空间，为今后的系统扩容做好充分

的准备，保护投资。


PureFlex HPC解决方案基础架构(Infiniband网络)

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86

计算节点

Po

wer/X

86…

计算网络

数据网络

IO

节点

Po

wer/X

86

IO

节点

Po

wer/X

86

IO

节点

Po

wer/X

86

IO节点

Po

wer/X

86

GPFS幵行文件系统

IB6131InfiniBand

管理网络

DCS3700DS3500Etc…

用户访问:提交任务/获取结果

高性能计算管理节点:集群管理、计算节点快速远程部署、用户登陆接口、任务调度不提交

HA

EN2092

1Gb TOR

10Gb Eth

8Gb FC

1Gb Eth


高性能计算应用场景: 某气象预测

客户项目目的

为气象数据计算建立独立的高性能计算中心

成熟稳定的设备平台

节省占地空间，节约功耗，减轻用户的机房运营压力

IBM提供整体的解决方案：以IBM完整的产品线优势，提供整

套的可统一实施及维护的解决方案

HPC实施经验及项目经验丰富，并具备咨询、项目管理等多

种对项目实施具有极大帮助的高端人才

PureFlex System得到WW HPC团队的官方支持，其高性能低

密度能够充分得满足客户的要求

采用业界领先的Power技术、节能技术、集成管理及监控技术

为什么用IBM

PureFlex计算节点:

•7 x P460 32核

PureFlex交换网络:

•2 x 4093 10Gb Switch

•2 x IB6131 Infiniband Switch

存储节点:

•2 x Power 740

•后端存储配置DCS3700

管理节点：

•1 x Power 720


PureFlex HPC方案存储节点

在计算机各组成部件中，相对于CPU、内

存、系统总线来说，磁盘性能的发展速度

最慢

随着多核技术的飞速发展，单台服务器内

CPU核数越来越多，应用的IO需求也随着

线性增长

随着计算精度的提高，应用需要处理的数

据量也越来越多

应用节点

I/O节点

存储

互连网络


PureFlex HPC方案存储节点 (GPFS)

经过验证的可扩展性• 最大14 TB 的单文件和4PB以上的文件系统

• 多达8192个节点的集群系统

• 目前国内文件数目最多的GPFS文件系统内部有超过1亿个文件

• 全球最大规模的集群: Linux 3794个节点，AIX 1530个节点, Windows 64个节点

支持高可用性• 集群内部高可用: 自劢节点恢复/自劢磁盘路径恢复/日志等

• 数据复制及容灾: 元数据同步及数据复制/异地容灾(GPFS复制/Metro Mirror/Global Mirror)

• 丌停机的升级和系统扩(增删节点或者磁盘)

采用开放标准• 支持X/Open 4.0 文件系统标准，应用无需修改

• 文件系统和数据可以通过mount/unmount支持任何客户端

• 客户可以通过NFS或SAMBA访问数据

• 支持Windows/AIX/Linux

简化管理• 简单的管理命令及单点管理

• 基于存储池的管理: 系统存储池/内部存储池/外部存储池(离线和近线

• 每个文件系统支持256个Snapshots实现旧版数据在线访问和快速备份

• 可以实现数据分级存储和信息生命周期管理(文件分布/迁移/删除/复制)

实测 IO吞吐量：128GBs每秒单文件/ 134+GBs每秒多文件(ASIC Purple)


1

2

3

AG

EN

DA


优势一: IBM是HPC高性能计算市场的领导者

IBM, 213

HP, 140SGI, 16

Cray, 26

Oracle, 7

Dell, 12

Bull , 16

Appro, 19

Other, 51

June 2012 TOP500 Entries

IBM leads, followed by HP

IBM

47%

HP

11%

SGI

3%

Cray

9%

Oracle

1%

Dell

1%

Dawning

1%

NUDT

3%

Bull

5%

Other

19%

June 2012 Aggregate Performance

IBM leads with 58.6 of 123.4 PF

2012年6月全球最快500台超级计算机，来自IBM的系统总处理能力为58.6PF (47.5% )，位居第一

T0P500中排名前10位的超级计算机系统，有5套来自于IBM

IBM可以提供包括硬件、软件和服务在内的整体解决方案，

全部采用成熟、稳定、经过市场检验的成熟技术和产品

IBM HPC丏家技术团队的长期支持，保证客户项目的成功实施不运行


优势二: IBM HPC全面解决方案

IBM Platform致力于为高性能计算提供计算资源管理的解决方案，国内的超大规模成功案例包括：

•上海超级计算中心

•深圳超级计算中心

•中科院网络中心

•国家气象局

……这些系统的硬件部分由IBM、曙光、联想等公司

建设，核心的集群软件平台全都采用了

Platform解决方案；

Platform的研发中心就在中国

竞争友商的资源管理软件，是基于OpenSource开源软件二次开发的产品，主要用在教育和科研领域的小规模集群

竞争友商的资源管理软件在对可靠性要求很高的计算中心、制造、气象、海洋、军工、金融等行业中使用量很少

IBM Platform Computing的业界领先地位

本地一体化应用平台

软件共享

报表分析与记费

Platform LSF -单一系统映象-工作负载管理- 动态供给- 业务驱动的调度策略-支持交互式及批处理-支持异构平台

Platform LSFLicense Scheduler-许可证份额控制-优先级调度-抢占式调度

HPC Portal基于Web 的一体化访问平台-用户管理-系统监控-软件许可证管理-作业提交和管理-数据管理

Platform LSF Family

Platform Symphony Family


优势三: IBM HPC全面的高性能解决方案

计算节点

相当于老的Power刀片:+40% 内存带宽和+100% IO带宽

相当于老的X86刀片: +30%的性能提升

不同等机架式服务器相媲美的性能

存储节点

128GBs每秒单文件吞吏量

134+GBs每秒多文件幵发吞吏量

IBM GPFS幵行文件系统拥有超过16年的发展历叱

交换模块

10Gb交换机业界最低的延时和最高Microbursts转包率

Infiniband网络支持56Gbps的FDR端口，低于0.7ns的延时，仅

普通QDR的50%


优势四: IBM PureFlex HPC基础架构平台优势


Thanks !

IBM PureFlex Systems...

Documents

Transcript of IBM PureFlex Systems...