VXLAN篇之multi-fabric

作者简介:张磊,思科原厂8年多technical consulting engineer,精通思科数据中心/园区网产品及技术;精通SAN网络架构及产品;熟悉广域网产品及技术。

第一篇:VXLAN篇之初识
第二篇:VXLAN篇之EVPN
第三篇:VXLAN篇之进阶
第四篇:VXLAN篇之Multi-Pod

在前面几篇VXLAN文章中,我们介绍了VXLAN的基本概念、EVPN以及multi-pod,今天我们一起看看vxlan的multi-fabric。

一、什么是multi-fabric?

数据中心网络通常需要将独立的fabric互连,这些独立的fabric可能是分布在不同的地理位置。所以,我们就需要一种DCI(Data Center interconnect)技术将分布在不同位置的vxlan fabric互连起来。

二、与multi-pod相比优势在哪里?

独立性:相比multi-pod,multi-fabric结构为数据中心的多fabric提供了更大的独立性。VXLAN tunnel endpoints(VTEPs)的可达性信息包含在每个单独的VXLAN EVPN fabric中,因此,VXLAN隧道起始和终结都在一个fabric内。这种方法有助于确保在每个fabric和DCI网络之间的2层接口应用诸如strom-control之类的策略,以限制或消除跨fabric的storm流量和其他故障传播。

可扩展性:与multipod方法相比,multifabric部署结构还提供了更大的可扩展性,支持更大数量的跨fabric leaf节点。同时,与multipod相比,multifabric还可以支持更多的endpoints;mac地址条目会被包含在每一个fabric中。此外,主机路由的通告可以在单独的fabric中过滤,从而增加被支持的IP地址的总数。

三、multi-fabric overview:

独立的vxlan fabric之间,使用2层和3层功能进行互连:

  • VLAN hand-off给DCI进行2层扩展
  • Virtual Routing and Forwarding Lite (VRF-Lite) hand-off给DCI进行多租户3层扩展

独立的VXLAN EVPN之间的最大距离主要由应用软件的需求(两个活动成员之间的最大容忍延迟)或企业所需的灾难恢复模式(热迁移或冷迁移)决定。当2层和3层的流量通过边界节点从每个fabric发送出去后,可以使用多种DCI解决方案来扩展第2层和第3层的连接,同时保持端到端逻辑隔离。

  • Layer 2 DCI: 2层连接方式有多种。可以是double site vpc,DWDM,也可以是其他任何overlay技术,比如:OTV、MPLS EVPN,VPLS等。
  • Layer 3 DCI: 3层DCI连接有两个主要目的:
    • 在站点之间发布本地主机和IP子网的网络前缀。
    • 为扩展的IP子网传播主机路由和IP子网前缀到远端站点。

对于跨VXLAN EVPN fabric扩展多租户2层和3层连接的DCI解决方案通常取决于连接fabric的传输网络中可用的服务类型:

  • Scenario 1: 企业自有的直连链路(裸光纤或者DWDM)
    • vPC 或者 OTV 用于layer 2扩展
    • 背靠背的VRF子接口用于layer 3的扩展
  • Scenario 2: 企业自有的或者电信运营商的多租户layer 3 WAN服务
    • OTV用于layer 2扩展,通过一个独立的VRF子接口
    • VRF子接口到每一个WAN的layer 3 VPN服务
  • Scenario 3: 企业自有的或者电信运营商的单租户layer 3 WAN服务
    • OTV用于layer 2扩展跨native layer 3
    • VRF over OTV用于layer 3 segment

四、几种Scenario的详细介绍:

Scenario 1: 在一个城域网中,可以使用一个DWDM传输2层和3层扩展。如下图所示:两个物理接口,一个用于layer 3 segment,另一个用于layer 2扩展。注:与vpc结合使用时,一个专用的3层连接是最见推荐,对于不支持vPC上动态路由的平台通常需要这种连接。

Layer 2 and 3 Segmented across a DWDM Network

尽管如此,推荐的方法是部署一个overlay解决方案来提供2层DCI服务,比如OTV,特别是如果需要互连两个以上的站点。OTV本质上提供多点二层DCI服务,同时确保对端到端二层无环。

Physical View with OTV “on a Stick” to Carry Intrasubnet Communications

  • Tenant 1: VRF T1 = E1/1.101
  • Tenant 2: VRF T2 = E1/1.102
  • Tenant 3: VRF T3 = E1/1.103
  • Etc.

OTV的edge设备通过2层、3层连接到border nodes(如上图所示:红色为layer3连接、蓝色为2层连接),该部署模型称为“on a Stick”。OTV overlay被放到一个专用的layer 3子接口、VRF。这些子接口属于同一个物理接口,背靠背的子接口携带OTV封装的流量并提供跨fabric的3层租户连通性。

Scenario 2: 第二种场景适用于3层多租户传输服务跨不同fabric使用的场景。

这种部署模型类似于Scenario 1:OTV边缘设备“on a Stick”用于扩展跨站点的2层连接。OTV流量从边界节点的专用子接口上发送出去,这些子接口被映射到WAN边缘路由器上作为运营商边缘设备的特定3层VPN服务。

同时,为每个租户部署独立的第3层子接口,以便进行端到端第3层通信。每个子接口映射到一个专用的第3层VPN服务。

OTV Overlay “on a Stick” and VRF-Lite Sessions Run Independently

Physical View with OTV “on a Stick” to Carry Intrasubnet Communications: Layer 3 VPN and MPLS Core

Scenario 3: 在这个场景中,WAN和MAN传输网络只提供单租户第三层服务(它不支持MPLS或VRF)。

在这种情况下,由OTV提供的2层DCI服务可用于建立跨fabric的2层和3层多租户连接。分两步实现:

  • 首先,在native 3层WAN和MAN核心上建立2层DCI overlay服务。
  • 接下来,在2层overlay传输fabric上建立每个租户的3层对等体。连接到远端站点的专用租户3层接口可以部署为3层子接口或SVI:
    • 使用3层子接口:在这种场景下,必须部署两个独立的internal interface用于border nodes和OTV设备的连接。如下图所示,第一个接口配置一些子接口来承载租户流量(每一个vlan tag关联一个租户);第二个接口是一个2层trunk口,用于在两个站点之间扩展2层域。另外,由于每个租户建立了跨越OTV的3层路由对等体,所以,需要在每一个子接口上配置BFD(bidirectional forwarding detection),以帮助确保在某些特定情况下更快地收敛。

Layer 3 VPN Peering Over the Layer 2 Overlay Transport

  • 使用SVI:在这种场景下,如下图所示,2层的trunk接口可以用于承载每个租户的3层接口相关的vlan流量,以及跨站点扩展2层域。注意,这两组VLANs必须是惟一的,SVIs不是为跨站点扩展2层域的VLANs而定义的。
  • 仍然以下图为例,OTV边缘设备上的join interface可以直连到3层核心网。

OTV Inline to Carry Data VLANs and VLANs for Tenants’ Layer 3 Communication

五、VXLAN EVPN Multifabric with External Active-Active Gateways:

VXLAN EVPN Layer 2 Fabric with External Routing Block

以上图为例:

  • 在fabric 1中,连接到L11 leaf节点的H1想要与vPC L12&L13的H2通信。尽管H1与H2属于同一个fabric 1,但是H1与H2属于不同的IP子网,所以,H1将流量发送给它的默认网关(H1与default gateway的ARP交互过程就不赘述了),该网关部署在一个外部3层设备,然后连接到fabric 1。
  • H1发送VLAN 100的流量,然后被L11映射L2VNI 10100封装VXLAN(本地映射VLAN 100至L2VNI 10100),发送到egress VTEP:border 1和border 2。由于layer 3的ECMP,本例中假设border 1(BL1)为destination。
  • BL1 解封装VXLAN报文并且桥接原始报文到本地VLAN 100(本地映射L2VNI至VLAN 100)并发送给default gateway。
  • default gateway收到了去往H2的报文,执行3层查找,然后发送给H2所在的2层segment。
  • 2层流量到达vPC border节点(本例假设BL2)。BL2将VLAN 200映射至L2VNI 10200并封装VXLAN。BL2然后转发至vPC VTEP节点L12&L13。
  • L12或L13收到后,进行VXLAN解封装并且发送原始报文至H2。

至此,同fabric内的H1与H2通信完成。东西向流量可以在每一个fabeic内实现本地化通信,消除不必要的fabric间带宽占用。

六、VXLAN EVPN Multifabric with Distributed Anycast Layer 3 Gateway:

与上面的“Multifabric with External Active-Active Gateways”不同,网关下移至所有的leaf节点,作为anycast gateway。

注:类似在《VXLAN篇之EVPN》的anycast gateway过程,以及《VXLAN篇之初识》、《VXLAN篇之进阶》中到的EVPN type2和type-5,完成各个节点的表项学习。区别在于,通过OTV进行2层segment扩展,以实现跨fabric。

1/ 跨fabric的同VLAN间通信:H1 to H6

VXLAN EVPN Multifabric: ARP Request Propagation Across Layer 2 DCI

VXLAN EVPN Multifabric: ARP Reply Across Layer 2 DCI

通过以上BGP EVPN、ARP等学习,可以将上图简化至如下packte walk:

2/ 跨fabric的不同VLAN间通信:H1 to H4:

Forwarding Tables on Different Devices after H1 Sends ARP Request to Its Default Gateway

VXLAN EVPN Multifabric Data Plane: Intersubnet Communication

Control-Plane Updates Triggered by the H4 ARP Reply

VXLAN EVPN Multifabric: Intersubnet Communication (Continued)

通过以上BGP EVPN、ARP等学习,可以将上图简化至如下packte walk:

最后例行tip:

Multi-site,the happy place!


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/23644.html
分享到:
相关文章
条评论

登录后才可以评论

leiz2 发表于19-10-23
1