虚拟网络流量采集怎么做?

作者简介:云杉网络

随着云和容器等虚拟化技术的不断扩张,云、数据中心和企业网中的东西向流量呈快速增长趋势。对东西向虚拟网络流量的采集与分析,可以帮助用户实现如下价值:

高效运维,保障业务连续

如果不采集虚拟网络流量,用户80%的网络流量将呈现“黑盒”状态。遇到因网络问题导致的业务延迟与中断时,运维人员犹如盲人摸象。通过对虚拟流量的采集与分析,可以点亮黑盒,呈现精细的虚拟网络运行状态,快速定位故障根因,确保业务的连续与稳定。

精细化运营,提高投入产出比

计算、网络、存储、带宽等都是支撑业务需要投入的资源。但在当前业务运营过程中,仍然存在诸如闲置虚拟机未回收、网络链路负载不平均,不同ISP带宽粗放分配的问题。通过对虚拟流量的采集与分析,可以及时侦测资源使用情况,合理调度资源,提高资源利用率,进而提高投入产出比。

安全防护,保证内网安全

网络规模扩大和灵活性的提高,内网安全策略呈现只增不减、变动频繁的状态。但当前配置的内网安全策略是否全部生效,以及随着虚拟网络变动,需要删除的策略是否已经清理干净,都是难以回答的问题。同时内网虚拟机被攻陷之后,运维人员是否能及时识别“肉鸡”进而保证内网安全,都是需要通过对虚拟流量的采集与分析解决的问题。

虚拟网络流量采集的关键指标

采集性能

作为占据云数据中心总量80%的虚拟流量,实现全量采集需要高性能的采集技术作为支撑。在采集的同时,针对不同业务,还需要完成去重、截断、脱敏等其他预处理工作,进一步增加了对性能的要求。因此采集性能将是衡量虚拟网络流量采集技术的一个关键指标。

资源开销

多数虚拟流量采集技术都需要占用本可应用于业务的计算、存储和网络资源。除了尽可能少地消耗这些资源之外,仍需要考虑对采集技术实施管理的开销。尤其当节点规模扩大之后,如果管理成本也同样呈现线性的上升趋势,那么该采集技术将不具有理想的扩展能力。

侵扰程度

当前常见的采集技术,往往需要在hypervisor或相关组件上添加额外的采集策略配置。这些策略除了存在与业务策略的冲突隐患之外,往往还会进一步增加hypervisor或其他业务组件的负担,影响服务SLA。

部署依赖

当需要在hypervisor上部署agent实现流量采集时,往往需要考虑针对不同hypervisor环境的依赖条件,以及各类第三方库的安装、升级。在此过程中往往存在冲突或不兼容的情况,影响现有生产系统,增加采集部署难度。

现有虚拟网络采集技术比较

策略采集

由控制节点接收用户指令后,对虚拟网元(一般是虚拟交换机)下发采集策略,将流量通过隧道或其他形式转发至分析节点,完成虚拟流量采集。一般多见于SDN网络环境。

Pros

  • 由控制节点中心化控制,策略下发灵活
  • 可依据业务需求实现细粒度按需采集
  • 对hypervisor系统没有依赖

Cons

  • 采集策略有可能存在与业务策略的冲突
  • 全量采集需要下发的策略数目大,管理难度高
  • 增加虚拟网元压力,采集流量无压缩,带宽占用高

网元采集

由虚拟网元(一般是虚拟交换机)直接提供虚拟流量镜像能力。用户可通过调用对应的API实现虚拟流量的采集能力。一般多见于成熟的商用整体网络解决方案。与策略采集不同,网元采集的粒度及灵活度多受限于网元接口API开放出来的能力。

Pros

  • 直接调用虚拟网元相关接口API,实现简单
  • 无策略冲突隐患
  • 部署简易

Cons

受限于接口API的粒度,无法自行实现细粒度控制
影响虚拟网元性能

代理采集

在hypervisor上运行agent代理,同时启动专用的流量分析虚拟机。Agent接收控制节点的指令,完成网络配置,将流量导入流量分析虚拟机,完成流量采集。与策略采集方案的不同之处在于,虚拟网元的配置不直接由控制器完成,并且采集的流量毋须通过隧道等方式发送,而是直接进入本地虚拟机,减少网络带宽的占用。

Pros

  • 控制节点毋须管理大量的采集策略,减轻控制节点压力
  • 流量由本地转发至分析节点(虚拟机),不占用生产网络带宽
  • 可实现细粒度流量采集
  • 可在本地完成去重、截断、脱敏等工作,确保数据安全

    Cons

  • 采集策略可能存在与业务策略的冲突
  • 虚拟机会占用一部分计算、存储和管理资源
  • Agent部署存在对hypervisor环境的依赖

如何实现下一代采集技术?

当前的采集技术分别具有各自的优势与劣势。针对当前普遍存在的虚拟网络采集的需求与痛点,云杉网络推出专利性的Trident采集技术,解决现有技术存在的问题,满足用户对虚拟网络采集的苛刻要求。Trident作为独立运行于hypervisor上的采集进程,具有如下特点:

无依赖

Trident由GO语言编写,利用GO语言的天然优势,直接生成二进制可执行程序文件,文件仅14MB大小,对部署系统没有任何第三方库或组件依赖,可以在任意内核版本大于2.2(1999年发布)的Linux系统上部署运行。

高性能

Trident利用了基于内存映射的“零拷贝”技术,避免了传统流量采集方案中对数据包的多次拷贝,消除了网络数据采集的性能瓶颈,从而达到以最小的资源占用,满足巨量增长的网络东西向流量采集的目的。可对位于同一台宿主机的所有虚拟机东西向流量进行全量、实时采集。当前在350Kpps的采集性能下,仅使用15%CPU。

零干扰

Trident可以理解为一台“影子交换机”,毋须对现有虚拟网元进行任何额外的配置,即可直接采集流经hypervisor的全部流量,对现有网络策略无任何干扰。

细粒度

Trident通过gRPC接收控制器发送的指令,可实时配置ACL过滤规则、截断长度、脱敏配置、采集端口等工作参数,或针对指定虚拟接口、IP地址、协议、端口号设定精细采集策略,并可在控制节点编程自动化实现。可针对虚拟化环境虚拟机变动频率高,网络环境复杂多变的情况。


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/21092.html
分享到:
相关文章
条评论

登录后才可以评论

厂商供稿 发表于18-07-17
3