OCP16见闻(1):谷歌又弄个大新闻!

当Facebook负责工程和基础设施的副总裁Jay Parikh宣布Google加入OCP,并有请Google负责技术基础设施的高级副总裁Urs Hölzle登台的那一刻,我的状态是震惊的。

Urs@OCP,本身就是大新闻

在互联网基础设施(Webscale IT)领域,Urs Hölzle绝对是大神级人物。虽然我从没设想过何时能一睹其真容,但更没想到居然是在OCP峰会上啊!

像我一样惊讶的人不在少数。具体缘由不好去问,大家颇有些心照不宣:Facebook的定制之路就从挖Google墙角开始,第一款定制服务器“Freedom”有山寨Google之嫌,发起开放计算项目(Open Compute Project,即OCP)更被认为是“抱团”对抗Google在数据中心领域的规模优势之举。如今不过短短几年时间,便引得Google亲自来投,还有比这更大的认可嘛?

(想到这里,我不禁掩面长叹:难道这就是传说中“开放的力量”?还来不及构思接下来的剧情发展,邻座的三八少女推醒了我——看个糟老头子都能口水流一地,你们这些中年大叔口味真奇怪!)

抚今追昔,此刻Jay Parikh的内心应该是非常自豪的

该回味,还得回味。这是连续第三年有互联网行业巨头在峰会上宣布加入OCP了:2014年是微软,贡献了自己使用的OCS(Open Cloud Server,开放云服务器)等设计,随后进入OCP基金会的董事会;2015年是苹果,但只由OCP元老Frank Frankovsky口头宣布了一下,连Logo都没出,再说Apple在数据中心领域尚显稚嫩,没有引起太大的波澜。

Urs Hölzle这个级别的人都现身主题演讲了,两手空空显然不太合适。Urs大叔也是爽快人,一上来就单刀直入,宣布向OCP贡献Google的48V供电整机柜方案——也就是把它开源了。

Google十余年来在改善能效上所做的一些工作

惊喜接踵而至?我第一时间想到@李典林,腾讯数据中心架构师。如果说这时候我能选择坐在身边的人,除了典林兄,不做第二人想——哎,三八少女你别走啊,这回是说正经的呢!(咦?好像走得更快了……)

无他,李典林是数据中心48V供电方案的坚定支持者和积极布道者,半年前还让我仔细研习他关于OCP供电的文章呢,里面就有下一阶段转向48V供电的猜想(嘿我真的没白看)。要想看专业的,典林兄已经发了很详细的解析,可惜微信公众号不能贴非本号的链接。

不过,已经来了的也别着急走,要不您先将就看看我这不专业的理解,有兴趣更进一步研究,再出门右转,去找李典林的文章。

电池没凉,说来话长。下面尽量长话短说。

为什么要搞48V供电架构?Google当然不是吃饱了撑的,NRDC 2014年8月公布的数据显示:

数据中心是耗电增长最快的领域,能耗已占全球用电量的2%;
预计到2020年,全美国的数据中心耗电量将高达1400亿度。
所以,改善服务器的能效(Server PUE,SPUE)迫在眉睫。

传统数据中心将UPS集中放置在配电间或蓄电池间等专用场所,市电先经过UPS以保证电力的持续平稳供应。Google、Facebook等互联网巨头自建的数据中心则致力于去掉集中式的UPS,因为市电经过UPS和配电PDU会产生损耗,譬如UPS的效率损失会有10%,加上PDU和转换的损耗,比较好的情况下,市电到达服务器的12V主板之前也会有6.4%的能耗损失。

12V供电架构面临系统集成和配电损失的挑战

替代方案是市电直供机柜,但UPS或者说电池,还是要有的。Facebook第一代数据中心的解决方案是每6个IT机柜(服务器和架顶式交换机)配一个电池柜。电池柜采用阀控式密封铅酸蓄电池(VRLA)——一种非常“古老”但成熟的技术,输出电压48V,仅在市电异常情况下作为短时备份(45-90秒,再久就要靠柴发顶上了)。腾讯在上海青浦和深圳汕尾的数据中心也是类似的思路,微模块内置UPS(可以将Facebook的6+1组合视为不算完整的微模块),同样省去了集中式的UPS。

Facebook于2014年投入使用的Altoona数据中心,还在使用6个IT机柜配1个电池柜(左侧中间蓝色柜子)的方案

“非常6+1”仍然不够灵活,部署起来颗粒度较粗。从Open Rack V2开始,OCP将电池集成在机柜内部,同道者还有中国的天蝎2.5——都基于因特斯拉而广为人知的18650锂电池,具体实现方式不同而已。有多不同?本次OCP观感系列的第四篇文章再详细讲,毕竟这篇的主角是Google及其48V供电方案。

Google不愧是Webscale数据中心行业的老大哥,早在2006年就有将铅酸电池安装到服务器上的“壮举”,化身12V UPS贴身伺候主板。不过,铅酸电池毕竟比不了(今日)锂电池的量轻小巧高效安全,到了谷歌规模建设仓储式数据中心的2007年,服务器集成UPS(铅酸电池)的做法又被放弃。

2012年,谷大歌卷土重来,第一代48V供电架构问世,机柜级48V,DC-DC(直流到直流,让我想起企事录在技术和市场之间的桥梁作用——把中文翻译成中文)降压到12V供主板,主板上再降压到CPU等负载点(point-of-load,PoL)。显然是出于兼容主板等既有生态的考虑。

CPU加内存的功耗可以占到服务器的80%,所以明天Intel的那个大发布还是有其意义滴……虽然我们已经习以为常了吧

改变生态于Google不算新鲜事,2013年发展的第二代48V机柜及UPS,最大的不同就是服务器主板支持48V,直接从48V降压到PoL,省去了12V的中间转换,成本更低,效率更高——资料显示,市电到服务器主板的典型损耗为7%,目前业界领先水平可以控制在4%以内。

48V供电架构

听起来,似乎为了省去12V这个“中间环节”,要改造服务器主板多年形成的12V生态系统,值吗?

“(同样功率)电压越低,电流越大,这是初中物理就学过的知识”——这话不是我说的,别打我。还是举个实例吧:

……支持7~12KVA的供电容量。电源支持220VAC、380VAC、240VDC输入,集中输出至12VDC铜排,机柜内铜排设计分为上下两段,每段最大设计电流为600安培。服务器节点、FAN通过12VDC母排直接取电。

以上内容摘自天蝎2.0规范。约1米长的铜排,承载几百安培的电流,这个挑战还是蛮大的。“好”在受我国发展状况的限制,每机柜能供到8kW的电就已经不低了,要啥特斯拉!

可是万恶的美帝不那么缺电啊,Facebook得想办法降低每根铜排上的负载。Open Rack V1支持多达3个供电区,每个供电区有3根铜排,也就是最多可以有9根铜排来分散负载,每根铜排的长度也更短,从而有更大的潜力支持更高的容量。

两版Open Rack的供电架构对比,从V1的铅酸电池柜、3供电区和3铜排到V2的分布式BBU、2供电区和1铜排

然而代价也是明摆着的:多出的铜排和供电区增加了成本,减少了IT设备的可用空间。因此,Open Rack V2将供电区减少为2个,铜排缩减为1根。so,还是要面对天蝎般的挑战,至多是程度不同而已。

如果跳出12V的格局,把铜排上的电压提高到48V,问题不就大大的缓解了?Google正是这么想的:同样的负载功率下,电压升至4倍,电流降为四分之一,传输损耗显然更容易控制。

施耐德电气展出的基于Open Rack的48V供电方案

说来说去还是降低损耗?No,根源是为了提高供电能力。必要的节省是为了更好的发展,为省而省就没什么意思啦。

把整机柜的供电能力提升到12kW以上有什么用?可以装更多的处理器啊,CPU和GPGPU、FPGA什么的,满足高性能计算(HPC)和深度学习的需求呀——不然AlphaGo拿什么战胜李世石?AlphaGo初胜李世乭是在本届OCP峰会开幕之前,所以本文标题才是谷歌“又”弄个大新闻……(写了辣么多才扯回标题上,哇,如释重负,可以考虑收尾了)

Facebook于春节前发布了面向AI应用的机型Big Sur(大苏尔),4 OU规格,除了2个CPU(前面),关键在支持多达8个GPU(后面),是耗电发热大户。图为广达(Quanta)生产的版本

48V并非新生事物,通信行业已采用48V供电板卡多年,很多交换机(如ToR)也支持48VDC供电。问题是,采用12V供电的服务器主板也存在了近20年。生态系统的改变需要大家一起努力,英特尔(Intel)公司已制作出48V供电服务器的概念样机,而在机柜和数据中心层面,需要Google这样的大客户来推动。

Talk is cheap, show me the Rack. 2015年,Google用锂离子电池包替换掉原来使用的铅酸电池,推出了第三代48V供电架构。

与Open Rack和天蝎整机柜的布局不同,Google将交流到48V直流的转换放在机柜顶部,48V直流UPS(含锂电池包)置于机柜底部,避免了被服务器等发热的IT设备“上下夹击”

然后,谷大歌带着第三代48V供电架构,踏着春风,在OCP峰会2016上,扑面而来了。

台下的弟弟妹妹们,谷歌的诚意足不足?够进个OCP董事会啥滴不?

相比微软自成体系的OCS(19英寸机架,不妨叫它“小天蝎”——还是1.0),Google贡献给OCP的48V机柜,将48V直流供电及UPS设计,与Open Rack的架构整合,21英寸内宽,48V UPS插框布置在机柜的中部。作为过渡,如果其他用户的服务器仍采用12V输入的主板,可以在这个48V机柜内增加一个转12V的直流变换器来满足需求。

谷歌48V供电架构(上)与典型12V供电架构(下)的能效比较,以12V作为过渡的中间方案会增加额外的损失,除了48V供电架构,Urs还提到了数据中心对硬盘的要求。
 
来源:企事录


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/16394.html
分享到:
相关文章
条评论

登录后才可以评论

SDNLAB君 发表于16-04-01
0