京东野蛮成长背后IT快速建设法则


【IT168 专访】京东作为互联网行业的技术领先者,希望以更加开放的心态分享京东深厚的技术积累,为此京东技术学院发起并主办京东技术开放日,以月度为周期的技术分享活动,本次小编受邀请与京东网络部架构师王大泳开展互动交流,围绕京东数据中心基础架构如何顶住促销爆发的大流量,以及京东对创新技术SDN、数据中心网络设备选型进行了探讨分享。

专访嘉宾介绍:
王大泳,京东技术学院金牌讲师,就职于京东集团运维部,网络架构师,主要负责数据中心网络的架构设计和运维支撑。拥有十余年互联网行业工作经验,加入京东之前在新浪网工作近10年,多年来一直从事大型数据中心网络的运维管理工作,熟悉互联网产品应用的常见网络解决方案。

近几年,京东同期的618和双十一流量对比看,几乎每年以百分之一百的增幅,每年涨一倍,那么数据中心需要对业务进行哪些调整呢?

王大泳表示,最主要的调整最核心的是分为三块,第一块是基础架构,第二块是外部业务应用,例如网站交易等,第三块是内部系统应用,例如分布式计算、分布式存储和数据库等。基础架构比较难的是它的建设周期比较长,所以通常需要一个相对靠谱的预期和规划,整体架构设计要相对灵活一些,所以基础架构需要从五个方面去考量,第一个方面是功能,第二方面是性能,第三方面是容量,第四个是扩展性,第五个是可靠性。

基础架构团队所有的工作都会去参考这五项指标,看看我们做的工作是否能支撑其中的关键内容,比如说流量增长,业务增长这块儿对我们来说就是一个性能和容量的问题。例如网站流量在持续增长,我们需要对单个节点的性能不断提升,但是单个节点的性能提升到一个程度就上不去了,这时我们就需要依靠集群或者分布式的方案去解决性能+容量的问题,所以我们针对基础架构做了大量的结构优化,在提升集群整体性能的同时支持平滑的扩展。

网络设备对我们来说考虑最主要的是接入密度,第二是整个交换容量,第三个是可靠性的考虑。其中可靠性通常在初选的时候无法确认,只能靠长期使用和问题的不断积累,慢慢总结出一些历史参考数据。另外,网络设备对新技术的支持程度也是我们考量的重要因素,比如说IPv6、openStack相关功能的支持,以及对SDN相关功能的支持等等,我们希望这个产品不是处于生命周期黄昏阶段,最好是正当壮年并且具有可持续发展的优质产品。

理性看待SDN技术

近两年SDN技术如火如荼,所有互联网厂商和网络厂商都在探讨SDN技术对数据中心的影响,京东是否关注SDN这个技术?SDN这个技术发展对于京东而言在数据中心建设中现在是不是也是在考虑这个技术?你们在交换机选型方面是否有新的考虑?

王大泳表示:京东在持续关注SDN,关注层面不仅仅是基础架构团队,很多业务系统、研发团队也会参考各自在产品和技术方面的需要,分别学习和了解SDN技术和发展动态。个人认为,两年前多数人还没有搞清楚SDN能够以什么样的形式实现、能够给我们带来什么价值,而现阶段SDN似乎找到了方向但还没有真正的产品化和规范化,不能够真正意义上支撑到我们业务使用。

对于SDN技术落地面临的困难,王大泳表示,第一个需要具备SDN的客观需求和足够的应用规模,没有实际需求就变成为了SDN而SDN,应用规模不够会造成不必要的浪费。国内大多数企业的网络规模不大,需求并不是那么强烈,也没有想清楚SDN能做什么;第二个SDN需要深厚的研发实力,即使想清楚了SDN可以做什么,还是要通过软件开发来实现,这对企业的研发能力要求较高。如果SDN目前的核心价值是资源深度优化和利用,那么这就不是京东当前阶段的最主要矛盾,目前京东还处于业务高速发展、快速赛跑业务需求、规模性增长阶段,没有必要在SDN投入过多精力。对于大数据、云计算、SDN等等各种层出不穷的亲概念,其功能、特性和前景具有非常大的不确定性,因此通常各家公司和各个技术团队都会持续关注这些技术的发展动态,想看看这些技术在产业上在各个产品上和方案上到底是到了什么程度?随着这个方案和产品技术不断的出现和成熟,大家会意识到各项技术能帮助我们解决的具体问题,这是一个循序渐进、逐步融合的过程。

另外,从研发团队的发展角度看,也应该持续关注和跟进业内主流和热门的产品技术和发展态势,并对这些技术相对深入的了解和实践,这样才能够在对我们自身产品和架构进行设计和优化时,选择最合适的解决方案。在实际工作中,我们对新技术是抱有学习了解和持续关注这样的态度的。

独特见解

在京东数据中心内部,目前有几万台服务器,那么在接入这些服务器的高密度交换机的选择上会关注哪些点?

王大泳:数据中心网络规模会经历三个阶段:第一阶段是小型网络,几十台上百台接入交换机,第二阶段是中型网络,几百台到上千台接入交换机,第三个阶段是大型网络,几千台上万台接入交换机。高密度交换机是在单个网络模块主机数量达到一定规模后产生的网络需求,从第二个阶段开始就会遇到这样的需求了。像百度、阿里、腾讯的服务器规模早就达到了超大数据中心规模,现有高密度交换机的单机容量已经无法满足服务器的接入需求,因此我们就需要使用多个以高密度交换机为核心的网络模块来实现服务器的接入和组网,这就引发了多个网络模块之间高带宽通信的问题。早期运营商是靠纯三层的路由去解决这种不同规模网络连接在一起需求,后来因大二层需求又出现了Trill等大规模组网方案。京东目前处于第二阶段,已经面临数据中心内部多个网络模块之间网络互通的问题,我们倾向于三层路由组网方式,大概是从去年开始就已经做这种准备了,从设计上可以做到几个网络模块间平滑的扩展和互联。

对于高密度交换机端口容量的选择和京东对待高性价比产品的看法时,王大泳指出,京东目前采用核心+接入的两层扁平化结构,不同网络模块之间通过三层汇聚连接,接入交换机到核心交换机之间的上联链路全部采用万兆链路。在接入交换机的选择上,根据服务器对接入带宽的需求不同分为两类,第一类是收敛比为1:1的千兆接入,第二类是收敛比为2.5:1的万兆接入。

“第一个低成本不代表是好事,有时候还要花钱办事,局部成本低了不代表整体成本就低,最核心的是保证用户体验和服务质量;第二个是提高投入产出比,为什么说这个?京东目前正处于业务上升期,在研发和IT资源方面投入力量很大,在成本上多投入一些,换来的是整体上发展的更好支持。但未来一定会加强成本的控制力度,这一切要以不影响业务健康成长为前提。”谈及高性价比选择设备时他表示。

数据中心高密度交换机选型建议

对于数据中心高密度交换机选型建议,王大泳表示,依旧要遵守上面提及的五大方面要求,即第一个是功能,第二是性能,第三是容量,第四个是扩展性,第五个是可靠性。随即王大泳并进行了阐述:

第一个是确认功能是否满足需求。例如是否支持高级路由协议,是否支持Qos功能,是否支持一虚多、多虚一等虚拟化技术,对IPv6、VXLAN支持到什么程度等等;

第二个是确认性能是否满足需求,假如核心交换机总共连接一万台服务器,每台服务器上面运行5台虚拟机,那么就可能会出现部分交换机的MAC地址表打满或者MAC地址表收敛时间比较长等问题,所以性能上一定要做一个基本的评估,看看自己的规模多大、基本需求要达到什么标准;

第三个是规划容量,简单地讲容量就是到底要接入多少台设备,接口板卡的型号、数量在设计之初就要考虑清楚,在满足当前需求的基础上还要考虑未来的扩展能力;

第四个是扩展性设计,除了规模上的扩展,还需要考虑一些规格和技术上的扩展,例如接口板卡对10G、40G、100G接口的支持情况,机框在交换能力上的设计规划,未来机框的升级可能和需求评估等等。

第五个是可靠性确认,客观讲用户很难简单、快速地确认产品的可靠性,因此只能从简单测试效果、厂商影响力、典型行业用户几方面考虑,再参考行业内的一些产品评价和新闻,通过各种渠道增加对产品的了解,积累自身对各个品牌和产品的认知。

转载自:IT168,作者:闫志坤,http://net.it168.com/a2014/1009/1671/000001671692_all.shtml


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/1742.html
分享到:
相关文章
条评论

登录后才可以评论

SDNLAB君 发表于14-10-11
2