从极小到极大的思维突破网络数据的效率与安全

一只体重只有1或2毫克的蚂蚁,就能绕过障碍物,以让我们最复杂的机器人相形见绌的技术和速度寻找信号。然而,凭借这些明显的智慧,一些孤立的蚂蚁却会漫无目的地闲逛,直到蚂蚁的数量超过几十只。

随之而来的是,更高层次的智能开始出现。随着蚂蚁数量的增加,这种转型变得惊人。数以百万计的蚂蚁可以建造拥有复杂的通风系统、下水道和回收设施的“城市”。

蚂蚁是除人类以外唯一一种从事集约化养殖的生物。他们养殖活的作物,繁殖并放牧蚜虫和其他昆虫,“榨取”它们作为食物。蚁群会交流、教学、组建团队并参加战争。

蚂蚁的行为与最先进的数据中心以及有效数字转换所需的更高级别智能进行比较,就会发现这种动态响应的智能不仅驻留在CPU、服务器或存储盒、网络或任何单独的应用程序中。相反地,今天的问题需要优化所有这些元素,以在数据中心级别创建计算机。正如蚁群作为一个没有集中控制的高功能生物体一样,同样在最新的机器学习模型中也没有单一的控制程序。

数据本身驱动着由智能网络连接的计算和存储元件组成的数据中心中的进程。这种“深度学习”也可以与人类大脑相媲美。人脑是一个由相对较小的处理元件组成的巨大网络,这些元件被称为突触,当数据在网络中通过时,突触实际上在处理这些数据。

数据泛滥

2007年,诺基亚是一家价值1500亿美元的企业,当时他们决定投资新兴的汽车卫星导航市场。他们收购了Navitech这家在欧洲拥有约500万台交通摄像头的公司。他们意识到,保持最新实时交通状况的导航系统将提供重要的竞争优势。

同年,一家名为Waze的以色列公司启动,其目标与Navitech相似。只不过Waze收集的数据并非通过安装数百万个交通传感器,而是在每个用户的手机上安装一个应用程序。这使得Waze可以免费快速部署数以千万计交通传感器,利用每个智能手机上的GPS定位芯片,收集交通移动数据并上传到Waze系统。其余的都已成为历史:在五、六年的时间里,诺基亚的市值缩水至低于Navitech的收购价,而Waze则被谷歌收购。

这反映了从外出采集数据到允许数据流入的根本性转变,好像从井中收集水与在大地上获取降雨之间的差异。在图1中看到了一些影响,其中蓝色的数据增长线在2007年之后不久变得更加陡峭,并迅速上升。

图中还显示了一条虚线,它代表摩尔定律所承诺的处理能力的线性增长,而一条红线表示实际的CPU性能正在放缓,因为我们正在接近硅潜能的极限。但请注意代表网络带宽的绿线与数据增长非常一致。旧的以CPU为中心的想法正在让我们失望,我们需要跳出框外来思考,跳出计算机的思维定势来解决当今企业所面临的重大问题。

图1

如今,没有一个单独的处理单元,足以处理那些生成可操作的业务价值所需的大量数据集。但是我们需要优化整个堆栈中的计算、存储、网络和应用程序元素,并使它们协同一起工作以创建单个数据中心级的计算机来跨集群交付服务。不是人类对机器进行编程,而是数据为机器编程。正如从数百万蚂蚁的经验中获得的大量数据输入将通知并产生智能和建设性的项目开发一样,机器学习也将从海量物联网数据中挖掘出意义和相关性,并创建新的高效应用程序。

从人群到云端

这与云有关,云也改变了计算的交付模式。“云”也从“服务器”转型为“服务”。如果你有“家里的电”,这意味着你有插头,你就可以从中获得电力,这也像打开水管上的水龙头一样。如果你有“家里的一台计算机”,它传统上意味着你拥有一个装满计算机能力的盒子,你要负责让盒子里的所有东西都能顺利运行。

云计算使我们更接近供电模式,好像电子信息不在桌上的计算机里,转而到插座里(的另一个地方)。

当今的视频会议提供的不仅是通信速度,同时提供了多个地点的可见性和声音,甚至可以在语言之间进行机器翻译。因此,要在性能方面实现真正的量子飞跃,就需要跳出固有思维。

智能网络

这不仅是关于移动数据通过电缆的速度。网络到处都变得越来越智能化。秘诀是在数据移动时处理它。蚁群中的每只蚂蚁都从自己的感官接收数据,再加上通过其他蚂蚁的气味信号传输的数据。它自己处理数据,并传输自己的气味信号,这些信号在网络中不断级联,为蚁群积累了重要意义和适用性。就像我们最先进的网络产品中,每个交换机中都有计算单元,可以即时动态地进行数据聚合。

这项技术目前被用于高性能计算和机器学习。

当我们对神经网络模型的多个实例的数据集进行神经网络训练时,经过个别训练后,训练结果的整合通常需要花费与训练本身一样多的时间。

分发散布这种处理方式,可将“参数服务器”流程的速度提高了快10倍,从而可将培训流程从几天缩短到几小时,或者从几周缩短到几天。我们称之为SHARP(规模分层聚合与约简协议,Scale Hierarchical Aggregation and Reduction Protocol)。当其他网络还在计算元素之间移动数据时,SHARP会在数据穿越网络时处理和计算它,此举有效地将网络本身转变为强大的协处理器,从而显着提高应用程序性能。

对于存储网络,则以SNAP(Software Defined Networking for Accelerated Processing,用于加速处理的软件定义网络)。Mellanox的Bluefield SmartNIC虚拟化将您云中的资源呈现为真正的本地设备,而不是需要在主机上更改API的联网设备。

SNAP也适用于具有传统操作系统的计算机,可以看到本地设备可以神奇地触摸所有东西。通过SmartNIC技术,可以从网络上的不同机器分配资源,并将它们作为本地存储设备或本地机器上的本地存储服务来使用。
Mellanox有一个与主要云提供商合作的试点项目,计划一年内投入生产。

图2

另一个更有效地使用资源的例子是:网络功能虚拟化是一种功能强大的技术,它通过将进程合并到裸机服务器上来减少机盒的杂乱。但它却将负载放在服务器上,从应用程序的角度来看,这会降低数据中心的效率,因为它会耗尽计算能力,然而,可以将网络虚拟化操作的一个重要部分卸载给智能网络卡SmartNICs。

它安全吗?

可以在不牺牲安全性的情况下完成吗?传统的数据中心依赖于M&M安全模型(硬的在外部,软的在内部),它是数据中心外围的保护,但内部不受保护。

Mellanox的ConnectX和BlueField产品线的软件高级副总裁和总经理Amit Kring表示:在云空间中,我们邀请无法控制的应用到运行我们有安全策略的同一台计算机上运行。一旦恶意软件在计算服务器上运行,它就可以接管安全策略,因此接管我的数据中心。整个数据中心就被所邀请在机器上运行的一个家伙接管了。

为了保护基础设施,必须确保攻击者和受害者不在同一台计算机上运行。需要改变安全模型,从软的内部变成硬的内部。必须保护数据中心中的每一台机器。

执行了SNAP的BlueField技术,允许安全策略通过自己的操作系统托管在BlueField卡上,使其与应用程序服务器区别开来。有了BlueField,我们就可以完全隔离基础设施计算层和应用程序计算层。我们还可以完全独立地升级计算服务器和基础设施服务器,它们是不连接的。它更安全,也更高效。


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/23545.html
分享到:
相关文章
条评论

登录后才可以评论

厂商供稿 发表于19-09-12
0