数据中心未来供电技术浅析 2

10
数据中心未来供电技术发展浅析 腾讯 IDC 平台部数据中心规划组 李典林 目录及引言 一、380V 的高压直流系统 1、 传统的 380V 直流暂时没有市场 2、 在未来新能源方面可能存在一定应用空间 二、基本不用定制的 240V 直流市电直供方案 1AC+240V HVDC 50%+50% 2AC+240V HVDC 100%+0% 服务器主从模式 三、现有 12V 的市电直供方案: 1google 12V 分布式 2、 微软的 12V BBU 集中式市电直供方案 3、 随着功率增加,12V 将不再适合于数据中心 四、面向未来的 48V 市电直供架构 1facebook 48V 半集中供电及下一代架构 2、考虑数据中心的整体需求,包括交换机、网络设备、行间空调等供电的归一化 3、和太阳能 MPPT、燃料电池、风能等等结合在一起的直流微网架构 五、结语 随着数据中心技术的大规模建设,以及更为关注能源利用效率,数据中心供电技术未来的发 展方向一定是市电直供技术,在降低前提投资成本的同时,还通过高效率供电减少后期运营成本。 这里所说的高效率不仅仅是指电网侧到 IT 设备的供电路径高效率,而是一次能源侧到 CPU 等的 整个能源路径上的高效率和绿色环保,虽然传统概念的 PUE 可能升高,但单位总能耗是降低的。 未来的总体发展趋势是高压/集中式/交流大 UPS 向低压/分布式/直流小 UPS 方向发展,由机房外 集中式铅酸电池向 IT 机柜内分布式小(锂)电池等方向发展,从化石能源向绿色能源方向发展。 数据中心数据中心供电不间断的核心在于不间断电源及其电池技术,因此电池连接的位置也 决定了不同的供电架构。目前业界主流的备用电池电压从高到低分别有 UPS 的四百多伏,到直 流电源的 380V240、及 48V,甚至电池内嵌到 IT 设备内的 12V 等。下图是目前业界在数据中 心供电方面的主要技术方案,首先从集中式四百多伏铅酸电池的传统 UPS,其次到标准服务器 不用定制、240V 电池直挂输出母线的 240V 高压直流技术,接着还有服务器采用定制 48V 或者 380V 输入电源的 48V 直流或者 380V 高压直流电池直挂技术,最后再到 google 等的 12V 电池直 挂服务器主板输入方案。电池越靠近末端服务器主板或者 CPU,供电系统越为分散,相应的 IT 系统也更为分布式;电池越靠近末端,供电系统的定制化程度越高,普通用户规模开展的难度也

Transcript of 数据中心未来供电技术浅析 2

Page 1: 数据中心未来供电技术浅析 2

数据中心未来供电技术发展浅析

腾讯 IDC平台部数据中心规划组 李典林

目录及引言

一、380V的高压直流系统1、 传统的 380V直流暂时没有市场2、 在未来新能源方面可能存在一定应用空间二、基本不用定制的 240V直流市电直供方案1、 AC+240V HVDC 50%+50%2、 AC+240V HVDC 100%+0% 服务器主从模式三、现有 12V的市电直供方案:1、 google的 12V分布式2、 微软的 12V BBU集中式市电直供方案3、 随着功率增加,12V将不再适合于数据中心四、面向未来的 48V市电直供架构1、facebook的 48V半集中供电及下一代架构2、考虑数据中心的整体需求,包括交换机、网络设备、行间空调等供电的归一化3、和太阳能MPPT、燃料电池、风能等等结合在一起的直流微网架构五、结语

随着数据中心技术的大规模建设,以及更为关注能源利用效率,数据中心供电技术未来的发

展方向一定是市电直供技术,在降低前提投资成本的同时,还通过高效率供电减少后期运营成本。

这里所说的高效率不仅仅是指电网侧到 IT设备的供电路径高效率,而是一次能源侧到 CPU等的整个能源路径上的高效率和绿色环保,虽然传统概念的 PUE可能升高,但单位总能耗是降低的。未来的总体发展趋势是高压/集中式/交流大 UPS向低压/分布式/直流小 UPS方向发展,由机房外集中式铅酸电池向 IT机柜内分布式小(锂)电池等方向发展,从化石能源向绿色能源方向发展。

数据中心数据中心供电不间断的核心在于不间断电源及其电池技术,因此电池连接的位置也

决定了不同的供电架构。目前业界主流的备用电池电压从高到低分别有 UPS的四百多伏,到直流电源的 380V、240、及 48V,甚至电池内嵌到 IT设备内的 12V等。下图是目前业界在数据中心供电方面的主要技术方案,首先从集中式四百多伏铅酸电池的传统 UPS,其次到标准服务器不用定制、240V电池直挂输出母线的 240V高压直流技术,接着还有服务器采用定制 48V或者380V输入电源的 48V直流或者 380V高压直流电池直挂技术,最后再到 google等的 12V电池直挂服务器主板输入方案。电池越靠近末端服务器主板或者 CPU,供电系统越为分散,相应的 IT系统也更为分布式;电池越靠近末端,供电系统的定制化程度越高,普通用户规模开展的难度也

Page 2: 数据中心未来供电技术浅析 2

越大;电池越靠近末端,对 IT电源及电池的控制管理水平要求也越高。最后,电池越靠近末端,从电网到 CPU供电路径上的转换级数也相应减少,带来更高的转换效率,但可能在低压侧传输损耗又会增加。因此,对比集中式和分布式、高压还是低压,选择不同的供电架构,会很大程度

上影响供电系统可靠性、供电效率、造价成本等,还有技术、生态的成熟性以及应用灵活性等。

此外,随着电池技术的发展,以及风能、太阳能、燃料电池等绿色能源在数据中心内的引入,

给数据中心带来更多的机遇和挑战。从某种意义上说,数据中心不间断供电技术取决于电池技术

的发展,电池的革新也会带来数据中心供电架构的变化,比如从传统的低密度铅酸电池到高能量

密度锂电池技术的发展,就很可能把备份电池从电池室改放到 IT机柜内。同样的电池技术的发展,使得风能、太阳能等波动性绿色能源实现储能的可能,也将改变传统数据中心来自单一电网

供电模式等。这些更进一步的讨论这里不再展开,本文暂以业界用到的主流技术为主,通过梳理

粗浅分析,抛砖引玉,以便大家可以更为深入的探讨未来数据中心供电技术的发展方向。

一、380V的高压直流系统1.1 传统的 380V直流暂时没有市场

380V高压直流技术在国内外已经开展了很多年了,也有很多研究和标准等,虽然较传统的UPS及 48V通信电源系统有很多优势,但涉及 IT设备电源的定制以及直流供配电等配套的跟进,截至目前开展的应用规模都很小,基本停留在实验室试点阶段。数据中心内部的设备复杂多样,

从主要的服务器设备到相对少量的网络设备,以及消防、弱电、照明等等,涉及很多行业及不同

供应商,如果仅仅为了适应 380V直流供电,数据中心内的全部设备都要定制,那么带来的成本增加及开展难度就足以抵消了其节能利好,不管是在数据中心租赁方难以推广,在用户侧也无法

接受,因此截至目前业界开展的 380V高压直流项目规模都很小,示范意义大于实际节能收益。

Page 3: 数据中心未来供电技术浅析 2

1.2 380V高压直流在未来新能源方面存在一定应用空间随着太阳能、风能及燃料电池等绿色能源的发展,这些分布式供电可能在未来会推进 380V

高压直流电源技术的发展。因为大部分的分布式清洁能源通常都是波动性的,需要先整流稳压并

电池储能后才可以直接用于数据中心供电。而传统的 48V电源系统因为电压较低,传输损耗及线缆投资较大,不适合于较大规模的分布式能源使用,而相对而言 380V高压直流系统在这方面有较大优势。在 IT设备侧,可以由 DC/DC变换器直接将 380V高压直流降压到 12V或 5V甚至更低电压,减少了电源内部 AC/DC整流环节,整个供电路经上效率较高,很可能是未来的发展趋势。但同样涉及 IT设备电源的定制,以及依赖电池储能技术的发展,短期内仍无法规模开展。

二、基本不用定制的 240V直流针对 380V高压直流技术技术不够成熟,且需要定制 IT设备电源等问题,目前在国内大规

模应用的 240V高压直流技术很好的解决了 380V高压直流的这些问题。源于 220V电力电源技术和 48V通信电源技术的 240V高压直流,具有较为成熟的技术及生态积累,以及绝大多数的 IT设备不用任何改造,可直接由 240V高压直流直接供电。此外 240V高压直流技术有高达 96%的高效率、智能节能休眠、高可靠性、热插拔易维护等特性,这些优点大大普及了 240V高压直流技术在国内的开展实用,截至目前,全国已经有近 10万台以上 IT设备运行在 240V高压直流下。

2.1 AC+240V HVDC 50%+50%目前业界以腾讯为首等互联网公司提出的基于 240V高压直流技术衍生出来的市电+240V高

压直流供电架构,正进一步改变传统 UPS等靠硬件多重冗余来保障可靠性的高投入低能效模式。

Page 4: 数据中心未来供电技术浅析 2

对于目前大多数的双电源服务器,可以采用如上图所示的采用一路市电直供,另外一路来自

240V高压直流的供电架构。服务器电源内部自动均流,市电和 240V高压直流各承担一半负载。由于市电直供支路可以达到近 100%的供电效率,而 240V高压直流供电具有的节能休眠控制策略可使其效率可在全负载范围内达到 94%-96%,这样均分负载情况下的综合供电效率高达97%-98%,比传统的 UPS供电架构效率高出很多,在保证 2N供电可靠基础上还实现了准市电直供技术的高效率。当然,对于少量的单电源服务器,可以直接挂接在 240V高压直流支路上。

2.2 AC+240V HVDC 100%+0% 服务器主从模式在前面市电+240V高压直流数据中心侧不用任何变化,如果能在服务器的电源上做些主从

设置,或者目前部分厂家的服务器具备支持休眠一个电源的功能,那么这种主从模式下,市电主

供、高压直流系统休眠后备,综合供电效率更是高达 99%,实现数据中心供电系统的超高效率。

Page 5: 数据中心未来供电技术浅析 2

实现服务器电源主从模式的方式很多,如下采用腾讯专利的服务器电源调压技术可以通过电

源硬件上的微调,即可实现可靠的主从工作及故障切换等,开展起来非常容易。当然也可以通过

更为高级的软件控制等策略实现双电源工作在主从模式下,这里不再展开说明。

采用主从模式工作下的服务器,由于从电源在市电正常的时候基本不带载,因此高压直流系

统可以只是个容量很小的充电器,大大节省了 240V高压直流电源系统的投资及空间占用,可以是电源和电池一体柜的简单电池柜设计。市电正常情况下,市电几乎承担绝全部负载,同时对电

池充电备用,实现 99%的供电效率。当市电停电的时,电池瞬间承担起全部 IT负载,直至柴油发电机起来带起整个数据中心负载,电池逐步退出并重新被充满,继续等待下一次停电发生。

采用 240V高压直流技术可以比传统供电方案实现高效率,甚至实现近 100%的市电直供,但其双电源配置(当然也可以类似 facebook采用市电+240V高压直流的单模块双输入电源设计降低成本)以及高压电池等仍不是很完美方案,仍属于过渡技术,将会被新的更好技术取代。

三、现有 12V的市电直供应用情况:3.1 google的 12V分布式 UPS

Google的 12V挂电池方案采用分布式电源加分布式电池作掉电备份,原理是每个服务器带一个电源并配一个铅酸电池,市电正常时候市电直接给设备供电并给电池充满电,市电中断时候

电池放电备份几分钟,直至柴发起来继续供电。有两个显著特点:

1、电源产自中国,输出参数为 13.65V &20.5A,这个服务器的总输出功率不会超过 250w。有趣的是这个电池接入开关电源,那么开关电源当成一个 UPS看也不为过,就是一个 13.65v输出的 ups,不会比市面上几百块钱最低档次的 UPS更贵。

2、关于电池,免维护铅酸蓄电池无疑,从公开的资料上其容量只有 3.2ah,充其量只能够维持 3、4分钟以内的服务器掉电保护时间。

该方案的核心技术是电池管理及切换控制,原理如下图所示,实现供电效率达到 99.99%。

Page 6: 数据中心未来供电技术浅析 2

3.2 微软的 12V BBU集中式市电直供方案下图是微软的 12V电池 BBU集中式市电直供方案,微软在 2010年推出该 ITPAC的机柜服

务器供电方案,从概念图上看机柜采用集中电源供电,并在 12V母排集中挂锂电池备份方案。分为上半区和下半区单独供电,单机柜达到 18.6KW功率给 96台服务器供电。选用的 4.5KW服务器电源也是高效率的电源模块,通过 12V集中母排给服务器子机单元供电。市电正常时候直接给设备供电,市电中断情况下,靠锂电池短时间放电过渡,直至柴发起来承担全部负载。

3.3 随着功率增加,12V将不再适合于数据中心从前面的两个案例可以看出,不管是 google的 12V带电池分布式小 UPS供电方案,还是微

软的 12V锂电池 BBU半集中式供电方案,都实现了市电直供近 100%的供电效率。但 12V电池要么直接挂在 IT设备内,要么就安装在服务器机柜内,主要的目的都是为了尽量减少 12V低压供电的传输损耗。谷歌 12V分布式供电虽然 12V传输损耗较小,但电源和电池数量大/成本高/电源负载率低效率会偏低;而微软的 12V集中式供电的电源和电池数量少/成本稍低/负载率高电源效率高,但 12V传输损耗大,都存在一定不足。

随着业界 IT机柜功率的不断增加,以及对能效的更高要求,12V低压传输损耗及成本会成为严重限制。举个简单例子,对于 12KW的机柜,如果采用 12V集中单母线供电,那么供电电流可以高达 1000安培,假设电源框和母线等的接触电阻为 1毫欧,光接触电阻的损耗也会高达1KW,还没算铜排上的大电流传输损耗及电源插框的电源转换效率损耗,总计高达 3、4千瓦。而采用较高电压的 48V供电方案,则可以大大降低传输及接触电阻损耗,且 48V电源的效率也比 12V电源的效率高 2%以上,如下图的两者损耗分析对比。采用 12V集中供电方案,机柜的总功率不宜超过 6-8KW,如果超过 10KW以上,传输及接触电阻损耗就会很大。而采用 48V供电方案则没有这个问题,整机柜的总功率可以高达 30KW以上,传输及接触损耗都可以控制较小。

Page 7: 数据中心未来供电技术浅析 2

当然采用类似前面微软的做法,将总功率分散在两个甚至更多的电源插框中可以减少母线电

流,但仍会带来更多电源插框占用宝贵机柜空间,以及更多电源和电池带来更大投资成本等问题。

最后,对于 12V低压市电直供,还存在电源及电池 BBU设计挑战很大的问题,毕竟通常 5%的电压波动允许,以及至少几分钟电池掉电备份时间要求等,对于电源及电池的设计和选择都是

很大挑战,总体而言,目前业界采用 12V直挂电池市电直供方案的用户较少,且在未来会逐步往 48V市电直供技术方向上发展。

四、面向未来的 48V市电直供架构如上图,从电网侧到 CPU的整个供电路径上,采用传统 12V供电方式带来的供电损耗会比

采用 48V供电方式的损耗高出很多,特别在未来高功率密度应用场合 12V已经不再适宜采用了。48V市电直供方案在通讯行业已经非常成熟,只是传统的 48V供电方案是集中式电源系统,而未来发展的 48V市电直供方案是分布式电源和 IT融合的方案,电源和电池就近放在 IT机柜边上,甚至放到 IT机柜内部,大大减少供电传输损耗及线缆投资等。且允许 48V电池电压有个很宽的波动范围,电池备电时间也可以得到较大提高。目前 48V电源最高效率也高达 97%以上,成本也比 12V电源要低较多,是个低成本高效率解决方案,带来的问题是部分 IT设备需要定制。但目前在数据中心行业,很多 IT设备及基础设施都已经实现了 48V供电架构,推动起来难度比采用 380V高压直流要小很多,目前业界已经有较多互联网等公司已采用 48V供电架构了。1、facebook的 48V半集中供电及下一代架构从 Facebook的公开资料上看采用了分布式服务器电源加分布式 48V电池的方案,每台服务

器配一个 277Vac和 48Vdc双输入、单输出为 12.5V的定制电源。其中 277Vac接口直接接到市电交流 PDU上,而 48Vdc接口连接到 48V直流 PDU。市电正常的时候市电直供,48V电池作为后备,当市电异常或者中断情况下,48V电池瞬间放电短时备份,直至柴发起来承担负载。

Page 8: 数据中心未来供电技术浅析 2

在实际的物理布局上,由于分布式 48V备份电源不能长距离传输供电,因此电池就近摆放在IT机柜边上,每个电池柜覆盖 6个 IT机柜。如前面所述,市电正常情况下市电承担了全部负载,所以 48V电源只作为充电器使用,保证对备份电池的充电即可,因此 48V电源只是个小充电插框,直接放置在电池柜顶部即可,如下图所示。

Facebook的这个市电直供 48V备份方案由于采用的是铅酸电池作为后备,考虑铅酸电池的功率密度低、对温度敏感且存在漏夜等风险,因此把电池放在了 IT机柜之外但靠近 IT机柜安装。其每个市电+48V双输入服务器电源内部实际还是两个电源并联在一起,数量多,定制成本高等,投资造价还是很大,所以在后续的整机柜版本中 facebook改用了电源更少的集中电源插框方式供电。且随着电池技术的发展,比如更高密度、放电能力及高温特性更好的锂电池等价格下来,

那么电源及电池会更为分布,直接从 IT机柜外转移到 IT机柜内部,如 open rack的 V2.0版本。如前面的 12V供电分析,facebook的这个 V2版本虽然电源适当集中,且电池和电源就近匹

配安装,但单机柜内仍采用了三个电源插框,以及多根供电母线排等,并没有解决电源数量多,

12V低压传输损耗大等问题。而 48V供电架构,可以只用一个电源插框及一根母线排搞定,且48V锂电池包较为成熟且容易设计,因此这个 V2应该只是个过渡版本,未来一定会向 48V供电架构切换(数据中心基础设施可以基本保留不变,只是将电池柜替换成整机柜即可完成升级)。

Page 9: 数据中心未来供电技术浅析 2

右上图的市电转 48V再直接降压到 1.2V的供电架构,如前述,具有极高供电效率,且很低传输损耗,技术成熟度最高,且可选的供应商非常多,因此已经是未来数据中心的供电架构方向。

据不可靠资料,目前业界的 google、amazon和思科等公司已经在采用此方案。当然这个架构的不足之处在于需要修改传统服务器主板上的 12V输入供电,改用 48V输入供电,但技术难度很小,比如很多刀片服务器、网络板卡等都是 48V输入供电。且对于服务器白牌化、深度定制的今天,对于前述互联网巨头而言,定制 48V输入供电的服务器已经完全不是问题了。

3、考虑数据中心的整体需求,包括交换机、网络设备、行间空调等供电的归一化随着数据中心技术的发展,未来的 IT和基础设施会更为融合在一起,就像今天我们今天看

到的机柜级服务器集成了电源和风扇,服务器会板卡化,支撑的电源和散热组建也会适当集中。

再往上一级,比如微模块级,一定是分布式供电和散热组建更为靠近 IT负载,分期投资并弹性配置,实现就近供电和高效散热,这种情况下散热系统的供电跟着分布式电源一起走。刚好目前

主流的末端空调EC风机等很大部分也是48V供电,分布式电池还可对散热系统做持续供电保障。数据中心内部的交换机、防火墙等网络设备基本都是可以选配可支持 48V供电的电源,比

如 facebook数据中心的网络设备基本也是采用 48V直供供电,因此网络设备和其他弱电、监控、照明等可以很容易选择适当的 48V电源以支持数据中心内的其他部分供电,最终实现 IT和基础支撑 48V供电的归一化。

3、和铁锂电池、燃料电池、太阳能、风能等等结合在一起的直流微网架构我们前面提到数据中心供电技术很大程度取决于电池技术的进步和发展,传统的铅酸电池由

于功率密度以及安全性等原因不适合直接和 IT设备放在一起,但锂电池则由于其高功率密度以及高温特性好等,未来很有可能会以 BBU等形态和 IT设备就近摆放,甚至会放在 IT设备内部。当电网正常或者新能源供电满足负载需求的时候,直接给设备供电,电池作为储能单元充电备份。

当供电出现波动或者中断情况下,则电池放电承担起负载,其大电流放电能力非常适合此应用。

Page 10: 数据中心未来供电技术浅析 2

除了铁锂电池等会集成到 IT机柜内之外,未来燃料电池也可能给 IT机柜供电。据微软公开的一份白皮书显示,微软正在研究使用基于沼气的燃料电池来提升设备能效,同时,还能达到降

低总体运营成本的目的。微软表示,把燃料电池直接放到机架层(rack level)的话,将大幅减轻设备对于 UPS、发电机、开关装置等“耗电大户”的依赖。

数据中心的高能耗,以及目前主流的依靠燃烧化石能源发电带来的环境污染问题正逐步成为

整个数据中心行业关注的问题,绿色环保组织也在持续曝光各公司的碳排放,目前业界一些互联

网等公司已经开始采用绿色的风能、太阳能等新能源用于数据中心的供电,而这些通常不稳定的

绿色能源发出来的交流电需要被整流并储能才可用于 IT设备的计算,因此对于大型的数据中心可能采用380V等高压直流来储能,但对于小型的分布式数据中心则会采用48V的直流微网架构。

五、结语

随着数据中心技术的发展以及降低运营成本和节能减排的需求,市电直供方案将在大型的互

联网数据中心等场合的应用会越来越广泛,成为未来趋势。380V高压直流在短期内因为行业生态没起来,无法大规模应用,但在未来绿色能源铺开后存在一定应用可能。目前阶段采用 240V高压直流技术可以不用改造设备快速实现节能,如果 IT设备电源微调甚至可以实现接近 100%效率的市电主供高压直流后备架构,但双电源高成本、全路径效率不够,只是未来几年的过渡技

术。随着 IT设备单机架功率上升以及对能效和成本的极致追求,未来 12V母线供电不管在能耗,还是在技术难度等方面都不占优势,会逐步被 48V的分布式供电架构取代掉,且 48V架构还归一了 IT设备、网络、空调末端、弱电监控等的统一供电,而锂电池、燃料电池以及风能、太阳能等绿色能源的进步以及发展会加快这一进程。带电池插框的 48V市电直供技术会是未来数据中心,IT供电架构的重要发展方向,期待数据中心技术规划以及 IT设备甚至基础设施各设备厂家共同一起营造此生态,实现高效节能、绿色环保、弹性灵活的低成本高可靠数据中心供电之路。