数字化转型呼唤新的基础架构

近些年互联网金融的快速发展对传统银行构成了强大冲击，也推动了传统银行加快向金融科技方向转型的步伐。目前，招商银行已经明确了“金融科技银行”的发展方向，旨在通过互联网、云计算、大数据、人工智能、区块链等技术变革，实现业务网络化、线上化、数字化、智能化，提升金融服务效率，为客户提供普惠、个性化、智能化的服务。转型过程迫切需要新的基础架构与之匹配：业务要求快速部署上线，能够不受物理位置限制；业务进行灵活部署，能够根据负载情况，对资源进行动态调整；基础架构要能够支撑业务创新，实现快速变更；在故障发生时能快速诊断定位。

面对这些问题，我们需要突破传统思路，利用计算虚拟化、网络虚拟化、存储虚拟化等虚拟池化技术，促使传统数据中心向云数据中心转变。
云数据中心最明显的特点就是虚拟池化技术的大量应用。最早发展起来的计算虚拟化技术已经普及，解决了数据中心计算资源利用率低、运营运维成本高、多种业务应用程序之间存在冲突等痛点问题。计算虚拟池化的规模应用对网络提出了新的要求，如网络大二层互通、多租户多业务隔离、单租户内业务安全互访、网络配置自动化可视化等，主要就是通过SDN来实现网络虚拟池化。
SDN技术具有如下几个优点：自动化，实现虚拟网络的资源按需分配和业务灵活下发；业务解耦，实现虚拟网络和物理网络的解耦，特别是网络位置的解耦，实现资源的大范围灵活调度；承载多种业务，同时实现业务之间的隔离控制；可编程，网络快速实现业务逻辑，个性化的网络控制；转控分离，数据转发层专注于数据转发，控制器专注于数据转发逻辑，屏蔽底层复杂性。

确定SDN技术的选择标准

在业内，招商银行对于SDN的探索起步较早，基本上没有同业参照，所以在SDN技术选择上主要依靠自身摸索并形成自己的选择标准。

一是标准化。首先，采用标准主流技术，避免厂商绑定，紧跟技术发展方案，确保可以获得更多的技术支撑。比如，Overlay技术不同厂商在早期都采用不同的技术路线，但经过对比之后，我们选择了可与传统网络设备完美兼容同时得到了主流商用厂商的支持的Vxlan技术作为优选。其次，采用标准“spine+leaf”组网模型，在方便业务横向扩展的同时，通过采用统一模型，减少网络规划与维护工作量。
二是开放性。采用标准的接口和协议可以与云平台、运维系统等应用无缝集成，如标准的Netconf、Openflow、Evpn、Vxlan、Restful等，通过采用Evpn、Vxlan可实现多厂商互通，通过Restful接口可实现与Openstack、Cloudstack等云平台对接。
三是可编程性。通过控制器的可编程性，实现与上层业务系统的快速对接，实现个性化的网络控制，如智能流量调度等。
四是安全可靠。再先进的技术也要以金融业务的安全可靠为前提，因此要求控制器必须支持集群功能。
五是高性能。互联网业务、大数据分析、AI智能、分布式存储对带宽的要求越来越高，采用主机Overlay这种方式暂时还无法满足大量数据流量转发的性能要求，因此我们优先选用网络Overlay方案来实现。
六是可运维。随着网络功能复杂性的提高，需要更加精细化的运维，实现Underlay/Overlay资源监控及拓扑呈现，故障告警及检测等部署、监控、告警管理。
七是自动化。实现Underlay与Overlay部署自动化、资源管理自动化，实现弹性扩展，提高业务敏捷性。

通过以上标准的指引，我们最终选择了在SDN领先的国内厂商，采用了标准化接口与协议的解决方案“SDN控制器+网络Overlay+二层CLOS组网模型”，同时根据自己的需求定制了流量智能调度功能。

招商银行SDN技术探索与实践

本着“大胆探索，小心实践”的思想，招商银行的SDN应用实践主要分三个阶段：开发测试区试点验证方案；非核心业务生产区试点；云数据中心全面采用SDN解决方案。

阶段一：开发测试区SDN

在经过对SDN的测试验证后，我们首先选择在招商银行开发测试区部署SDN进行试点，初期SDN控制器使用Openflow协议下发流表指引流量的转发。控制层面完全由SDN控制器负责，网络设备仅依据流表进行数据流量转发，达到控制与转发完全分离。通过试点我们发现，Openflow流表及服务链会占用比较多的交换机硬件表项资源，不适合大型复杂组网。控制器负责整个网络的集中控制，是整个网络的大脑，但一旦出现问题就会影响整个网络。后续我们选择试用基于Evpn Vxlan分布式SDN解决方案在招商银行开发测试区重新进行了部署，验证了Evpn Vxlan解决方案的可行性。

阶段二：非重要业务区域的SDN网络建设

通过阶段一的验证与实践，我们对SDN有了更加深入的理解，积累了很多的应用经验，为在非核心生产区试点奠定了坚实的基础。随后我们在新的云数据中心、办公区域开始试用基于Evpn分布式SDN解决方案，它相对于Openflow技术SDN方案有如下优势：分布式网关组网，减小单网关性能压力；同一组leaf下主机间的三层流量，无需绕行Spine设备，流量路线最优；横向扩展性好；SDN控制器只负责下发服务策略，不负责下发控制流表，可靠性更高。
方案设计包括以下内容：Evpn分布式网关组网的控制平面由Spine及Leaf设备运行Evpn协议实现；Leaf作为分布式网关，同时承担Vxlan L3网关及L2 VTEP角色；Leaf间互相建立Evpn邻居关系，通过MP-BGP协议扩展，交换各自接入的主机路由和MAC信息，形成Vxlan L2/L3转发表项；Spine作为Underlay设备，不参与Overlay Vxlan转发仅承担Evpn协议中的BGP RR角色，将从任意Leaf收到的Evpn消息反射给其他Leaf，提升EVPN协议报文交互效率；本地MAC和ARP的学习由Leaf完成；本地学到MAC和ARP后，再利用Evpn的MP-BGP路由协议完成MAC地址同步、主机路由同步两个功能，同步到其他Leaf设备；引入解决方案中的运维工具负责Underlay网络自动化一键部署和全程可视化运维；SDN控制器完成对Overlay层面租户网络资源的按需下发；Leaf网关设备完成ARP代理或ARP代答，减少广播泛洪；Spine设备不需堆叠，Leaf可选择堆叠提高单节点可靠性，Leaf与Spine全互联，ECMP组网；控制器采用集群部署，提高控制节点可靠性。
实践表明，该方案设计性能高，适合大规模组网，并在实践中取得了初步成效:

网络架构支持更大规模，更加弹性。
采用标准Evpn+Vxlan技术可以实现不同厂商的网络互通性，进一步提升招行的网络标准化。
采用路由引流方式实现业务流量的按需安全防护。四是引入智能运维系统，提供精细化运维与Underlay网络自动化。

在对本阶段的探索过程中，我们也发现了设计方案的诸多不足之处。一是BGP-Evpn的配置比较复杂，而且VTEP的建立和拆除在实际生产网络环境中都是动态的，所以相关的Overlay配置都需要依赖控制器实时的自动化下发。由于是工具生成的配置，可读性上稍差，对管理员理解Overlay的配置存在一定的难度，也给故障时的排错增加了难度。二是分布式网关在网络逻辑上也比较复杂，一个网段网关可能分布在很多个leaf上，给故障点的定位和排除都增加了难度。三是Underlay网路中存在多条ECMP，当出现联通性问题时，对路径的检测也是十分复杂，而Underlay与Overlay连通性的对照排查也存在很大的挑战性。四是SDN的很大一部分价值在于与上层系统的联动，适应业务的需求进行自动的配置和调整，因此网络的接口化和开放性变得尤其重要。

阶段三：云数据中心全面采用SDN解决方案

随着整个行业SDN解决方案的成熟，在经历了前面两个阶段的SDN实践探索后，招商银行开始在新的云数据中心全面应用SDN方案来建设，并对前一阶段的设计方案进行了改进和完善。一是加强安全，补齐Evpn分布式解决方案中的安全服务链功能，形成完整的云安全体系架构。二是提高带宽与性能，服务器接入向25G演进，提供更低延迟、无丢包的无损以太网络。三是提高可视化，通过新的协议技术，更加实时的信息采集，实现从小黑屋到玻璃房。四是提高智能化，结合大数据分析与AI智能提高系统预见性与态势感知能力。五是尝试Host Overlay SDN部署方案，网络设备只作为Underlay层，Overlay层由主机来承担，以简化网络管理。
从招商银行三个阶段的探索实践来看，我们越来越意识到，SDN作为新IT的代表性技术，代表了网络的发展趋势，可以很好地满足银行业务创新带来的灵活性要求。当然，作为一项新的技术，SDN还有很多方面需要优化，需要银行业IT工作者共同交流和探讨。