剑指InfiniBand,超以太网联盟(UEC)正式成立(附白皮书)

7 月 19 日,超以太网联盟 (Ultra Ethernet Consortium,UEC) 正式成立,它是一个由 Linux 基金会及其联合开发基金会倡议主办的新组织。UEC 的目标是超越现有的以太网功能,例如远程直接内存访问 ( RDMA ) 和融合以太网 RDMA (RoCE),提供针对高性能计算和人工智能进行优化的高性能、分布式和无损传输层,直接将矛头对准竞争对手的传输协议 InfiniBand。

UEC 的创始成员包括 AMD、Arista、博通、思科、Eviden 、HPE、Intel、Meta和微软,都拥有数十年的网络、人工智能、云和高性能计算大规模部署经验。

以太网为什么需要 UEC?

UEC 与当前以太网有何不同?

人工智能和高性能计算给网络带来了新的挑战,比如需要更大规模、更高带宽密度、多路径、对拥塞的快速反应以及对单个数据流执行度的相互依赖(其中尾延迟是关键考量点)。UEC 规范的设计将弥补这些差距,并为这些工作任务提供所需的更大规模组网。UEC 的目标是一个完整的通信栈,解决跨越多个协议层的技术问题,并提供易于配置和管理的功能。

UEC 与目前的其它协议有何不同?

现有协议可能会解决上述问题的某些方面(如原有的拥塞管理),但由于它们是为通用网络设计的,因此缺乏对人工智能和高性能计算至关重要的功能,如多路径和易配置。现有协议在相关场景中也可能比较脆弱。结合 UEC 成员在大规模部署人工智能和高性能计算工作负载方面的丰富经验,UEC 将提供令人信服的全面解决方案,带来以太网或当今任何其他网络技术都无法提供的新硬件和软件产品。(本节摘自云深知网络《天下苦 IB 久矣,全新超以太网联盟 UEC 横空出世》)

UEC计划做什么

UEC将提供基于以太网的开放、可互操作、高性能的全通信堆栈架构,以满足大规模人工智能和高性能计算不断增长的网络需求。

从物理层到软件层,UEC计划对以太网堆栈的多个层进行更改。

“这不是要彻底改革以太网,”UEC主席 J Metz 博士说。“这是关于调整以太网从而提高具有特定性能要求的工作负载的效率。我们正在研究从物理到软件的每一层,寻求大规模提高效率和性能的最佳方法。”

Metz 指出,当今以太网并不缺乏网络标准和组织,虽然 IEEE 已经发挥了主要作用,但 UEC 关注的不仅仅是 IEEE 通常关注的物理传输层。UEC 的目标是研究改进以太网所需的所有要素,然后与相关标准机构和技术小组合作以实施这些改进。

该联盟将致力于在维护和促进以太网互操作性的同时,最大限度地减少通信堆栈的变化。

UEC的技术目标是开发规范、API 和源代码,以定义:
以太网通信的协议、电信号和光信号特征、应用程序接口/数据结构。

链路级和端到端网络传输协议,可扩展或替换现有链路和传输协议。

链路级和端到端拥塞、遥测和信令机制,均适用于人工智能、机器学习和高性能计算环境。

支持各种工作负载和操作环境的软件、存储、管理和安全结构。

RDMA vs. UEC 传输

为改进以太网,UEC 联盟提出了UEC 传输协议。

Metz 表示,UEC 传输正在开发中,旨在提供比目前的 RDMA 更好的以太网传输(仍支持 RDMA),在提供AI和HPC应用程序所需性能的同时保留以太网/IP的优势。

UEC 传输是一种靠近传输层的新形式,它有一些语义调整、拥塞通知协议,并且增强了安全功能。UEC将提供更灵活的传输,不需要无损网络,允许many-to-many人工智能工作负载所需的多路径和无序数据包传输等功能。

UEC传输协议:

  • 从一开始就设计为在IP和以太网上运行的开放协议规范
  • 多路径、包喷洒传输,充分利用AI网络,不会造成拥塞或队头阻塞,无需集中式负载均衡算法和路由控制器
  • Incast管理机制,以最小的丢包控制到目标主机的最终链接上的扇入
  • 高效的速率控制算法,允许传输快速提升至线速,同时不会导致竞争流的性能损失
  • 用于无序数据包传送的 API,可选择按顺序完成消息,最大限度地提高网络和应用程序的并发性,并最大限度地减少消息延迟
  • 可扩展未来网络,支持1,000,000个端点
  • 性能和最佳网络利用率,无需针对网络和工作负载进行特定的拥塞算法参数调优
  • 旨在在商用硬件上实现 800G、1.6T 和未来更快以太网的线速性能

UEC 的未来之路

展望未来,人工智能和高性能计算的工作负载和网络需求预计将越来越多地重叠。考虑到对带宽和延迟的不同敏感性,UEC规范将提供两种配置文件——一种针对AI优化,另一种针对HPC优化。

UEC 技术咨询委员会主席 Uri Elzur 表示,通过插件测试和合规性测试确保互操作性将是未来的重点。UEC 的目标是确保其开放性和可互操作性。

UEC规范草案即将发布并开放使用。

SDNLAB 公众号后台回复0720UEC获取白皮书下载链接!


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/26274.html
分享到:
相关文章
条评论

登录后才可以评论

SDNLAB君 发表于23-07-20
0