9月5号、6号,为期两天的SPDK、PMDK、VTune Amplifier 2019峰会在北京中关村皇冠假日酒店圆满落幕。大会相关的演讲和录像材料后期会一一更新,请及时关注文末的微信公众号。
本次两天的峰会共超过400多位来自各大公司的精英参会。在峰会开幕式上,Intel 数据中心研发总监周林作了SPDK/PMDK/VTune Amplifier峰会的开场陈词,其中提到英特尔构建了一个完整的产品组合(其中包括CPU和平台,网卡,FPGA/智能网卡,NVMe SSD以及持久性存储等),这些组合可以提供性能,安全性和敏捷性,消除数据中心系统的瓶颈这将推动经济高效,灵活,可扩展的多云世界的构建。并且英特尔提供数据中心和多云边缘的所有公共基础设施的硬件组件。目前在工业界,存在了很多硬件方面的革新,诸如NVMe-oF,智能网卡,各种硬件加速器等。但是只有硬件的革新还是不够,我们需要软硬一体的解决方案。为此Intel提供了DPDK、PMDK、VTune Amplifier、OCF、ISA-L等,这些软件极大的提高了某些工作负载的性能。此外,周林还提到SPDK这一软件已经进入使用阶段,诸如在2018年11月11日Alibaba举办的双十一活动中,加速存储的处理。最后周林提到欢迎业界使用SPDK,PMDK、VTune Amplifier等开源软件且参与社会活动。欢迎大家积极踊跃参与到此次峰会中来。
▲ 周林开幕式致辞
▲ 大会现场
来自各个公司的众多开发人员、架构师相聚在一起,参与到顶级解决方案讨论的绝佳机会。与SPDK,PMDK和VTune用户社区面对面交流并互相了解。本次峰会主题将包括案例研究、技术深度探讨、技术教程以及专家演示、实验实践和技术讨论等等。
▲ James Harris
SPDK首席架构师和英特尔首席工程师James Harris作了SPDK项目相关的主题演讲,其中提到在过去三年间,有超过三分之一的项目参与者来自国内。
▲ PMDK Andy Rudoff分享
英特尔资深首席工程师Andy Rudoff作了PMDK项目相关的主题演讲,介绍了PMDK项目的发展历程和目前的进程,我们期待有越来越多的参与者共同把这个项目做强做大。
▲ Sri Doddapaneni分享
来自英特尔Analysis & Monitoring Engineering的总监Sri Doddapaneni分享了VTune Amplifier的主题演讲。值得一提的是VTune这个强大的性能调试工具目前已经免费下载(英特尔专业客户支持还是需要收费的),可以有效的结合SPDK、PMDK等等进行性能调优。
01
分享·学习
以下内容摘自峰会SPDK嘉宾为主的分享,后续详细的关于SPDK, PMDK, VTune的技术演讲会逐步分享给到大家。
▲ James Harris
SPDK首席架构师和英特尔首席工程师James Harris为我们介绍了SPDK最新的compress vbdev。基于DPDK Framework的 compressdev 提供的压缩算法, 利用PMDK和Intel Optane DC Persistent Memory来管理metadata, 在块层实现压缩。由于使用了DPDK Framework, 可以非常方便地利用硬件QAT的QATzip 或者ISA-L 提供的IGZIP 实现高速压缩。
▲ SPDK 惠春阳
英特尔工程师惠春阳分享了SPDK对加密的支持。目前,SPDK提供两种加密方案。一种是借助于DPDK Framework里的cryptodev, 使用统一的编程接口,使用硬件QAT或者软件加速库进行加密。还有一种是对于支持OPAL协议的NVMe盘上建立的bdev加密的支持,这部分加密依赖于OPAL盘的自身硬件。
▲ 阿里云王正勇分享
▲ 阿里云张翼分享
阿里巴巴分享了他们基于SPDK的用户态存储引擎FusionEngine2.0。通过对FusionEngine的诞生,总体架构,TierStore多样化的存储池以及iSCSI Target选型的参考因素,最终选择SPDK以及使用SPDK iSCSI Target之后性能的提升的数据比较,做了精彩而详细的介绍,使用SPDK充分挖掘了硬件的性能,提高了吞吐量以及编程灵活性,为阿里巴巴的上层业务提供了强大的支撑。
▲ UCloud 杨昱天分享
UCloud分享了基于SPDK的UDisk全栈优化解决方案。通过介绍UDisk如何使用SPDK(包括SPDK vhost虚拟化方案)基于端到端IO路径上的CPU、网络、磁盘等进行性能优化的实例,进行了精彩而详细的介绍,借助SPDK提供的高性能解决方案,以及RDMA技术,对IO路径进行深度优化,是产品性能完成了一次次的蜕变的过程。文中提到全新的RSSD云盘IOPS可达120万,时延低至100us。从而为Ucloud的云服务提供了稳定而高效的服务。
▲ Steve Miller 分享
来自英特尔的资深首席工程师和存储架构师Steve Miller分享了针对Rack Scale Design的高性能存储池。详细介绍了RSD方案以及为什么选择SPDK作为数据通道上的集成和优化。
▲ 杨子夜分享
英特尔工程师杨子夜为我们带来了 SPDK NVMe-oF解决方案简介以及Intel马上要发布的800系列网卡介绍。在这个演讲中,首先介绍了为什么需要NVMe-oF解决方案。接着介绍了基于SPDK NVMe-oF解决方案的历史,以及开发现状。接着重点介绍了SPDK NVMe-oF的TCP解决方案的一些设计和实现细节,并给出了在一些workloads(工作负载)下SPDK和Linux 内核解决方案的性能对比。此外,介绍了Intel将要发布的800系列网卡(主打带宽是100Gbps)的一些特性,诸如ADQ(application device queue)。这个主要是用来给应用程序分配独立的网卡队列,从而使得网络程序的行为更加可预测,更具体点也就是开启了ADQ这个特性后,网络应用可以有更好的IOPS,更低的延迟(特别是降低长尾延迟)。基于这一特性,SPDK在不久的将来也会利用Intel这一网卡的ADQ特性,进一步优化NVMe-oF TCP 传输层这一解决方案,比如降低长尾延迟。在演讲的最后,杨子夜也提到SPDK项目会继续遵循NVMe-oF的标准,不断更新代码;持续完善和linux内核解决方案的互操作性测试;并且不断地利用软件和硬件优化SPDK NVMe-oF这一解决方案。此外,也欢迎大家踊跃参与SPDK社区,一起完善SPDK NVMe-oF这一存储和计算分离的解决方案,使得这一解决方案在工业界被广泛接受和应用。
▲ Shuhei 分享
日立研发经理, SPDK的Core Maintainer 之一的Shuhei Matsumoto带来了SPDK对于数据端到端保护支持的分享。
▲ 喻津和刘长鹏与嘉宾交流
▲ 刘长鹏分享
英特尔工程师刘长鹏正在给大家介绍SPDK vhost-fs 方案的背景需求以及面向虚拟机使用的适配场景。
▲ 刘孝冬分享
英特尔工程师刘孝冬介绍了Container对存储的一些基本需求,以及SPDK在这方面的探索,并讲解了SPDK vhost-fs在kata container上潜在的应用价值。
▲ 喻津分享
英特尔工程师喻津分享了SPDK vhost模块中对vhost-blk在线恢复功能的支持,相比于之前的方法它提供了一种更快,更少限制,无性能损耗的后端升级的方法。
▲Benny Ni 分享
来自英特尔的Strategic Business开发经理Benny Ni给大家带来了最新的英特尔NVMe SSD包括Optane和QLC NAND SSD的发展状况和后续更新。
▲ 佘萍分享
来自英特尔的Strategic Planner佘萍给大家分享了Intel CAS(Cache Acceleration Solution)软件的最新进展。Open CAS已经开源(简称OCF)并且集成到SPDK中,可以提供多种策略的缓存功能。同时佘萍也分享了Intel VMD(Volume Management Device)的最新进展。
▲ 孙振元分享
来自百度的工程师孙振元给大家分享了SPDK NVMe-oF在百度赤兔存储中的应用,介绍了项目背景和集成SPDK后的优势。
▲Erlang Li 分享
来自XSKY的工程师Li Erlang给大家分享了在XSKY NAS (Network Attached Storage) Gateway产品中,SPDK iSCSI和NVMe-oF相关的集成,以及SPDK相应来带的优化。
▲Crane Chu 分享
Chu Crane给大家带来了基于SPDK的pynvme项目,详细介绍了为什么SSD测
试需要pynvme同时pynvme为什么基于SPDK。
02
Demo & Hands On Lab
此次Demo展示分为SPDK、PMDK和VTune三个展示区,SPDK主要展示的内容是SPDK和内核的aio以及5.1上新出的IO_uring在相同测试场景下的io性能对比。
▲ SPDK Demo 展示区
▲ PMDK Demo展示区
▲ Demo展示区
▲ Hands On 环节 闫亮为大家做演示
在Hands On Lab 环节英特尔工程师闫亮给大家现场演示了如何使用SPDK RPC methods和spdkcli.py脚本配置SPDK。主要内容包括Mallos,NULL,NVMe和 LVOL bdev的配置以及简单讲解了如何在Vagrant中配置SoftRoCE。
▲ Hands On 环节 Zhou, Xueqiang为大家做演示
同时英特尔工程师Zhou, Xueqiang给大家现场演示了如何使用OCF + SPDK来搭建测试环境,详细介绍了OCF和相应的配置以及FIO测试方法。
03
讨论.交流
在这两天的时间里,各个环节大家都积极交流讨论,面对面交流技术难题和对未来发展趋势的看法,互相学习,相互借鉴,来自各个公司的技术工程师对技术进行了深度探讨,在专家演示之前,很多人都提前做好了准备工作,对实验实践和技术进行了讨论。
▲ 大家积极讨论交流
▲ 会议厅内Q&A环节
▲ 会议厅内Q&A环节
当然,大会每天结束都会有精彩的抽奖环节。
▲抽奖环节
▲抽奖环节
▲ James Harris 为大家抽奖
▲ 获奖合影
▲ 获奖合影
我们带大家快速回顾了下本次峰会的部分精彩瞬间,后续我们会陆续推出单独演讲的分享。短暂的峰会虽然已经结束,但是欢迎后期大家踊跃加入到SPDK社区,一起完善和提出更多优秀的解决方案,一起发现问题并提出问题,共同协作解决问题,让SPDK社区更加活跃,拥有更多的参与者。
会议相关视频:
链接:https://pan.baidu.com/s/11m-gZV6gPYcEWF5QmaBQQg
提取码:rck7