Security groups
在neutron中使用iptables实现的，但是在netvirt中使用ovs的flow rule来实现的，这样VM port与br-int之间的bridge不在需要了，简化拓扑。
ovs通过（ingress/egrss）, protocol, port range与ip prefix属性来创建security group rule. Table 40 用于egress 方向流量过滤，Table 90用于ingress方向流量过滤。
1. 有状态实现
security group有两种实现方式，一种是有状态实现，一种是无状态实现，有状态实现需要ovs 2.5与linux kernel 4.3以上版本支持，ovs通过通过集成netfiler框架，根据5元组跟踪连接。这样在ovs中存在两种表，一种是ovs的静态流表，一种是netfilter维护的动态session表，ovs首先会静态流表来识别流是否需要被track，如果需要那么会将其交给netfiler来处理，处理完成后返回相应的flag，ovs根据返回的flag做下一步处理，丢弃，转发或是其他action。
flag定义：
+trk: 连接已经保存在netfilter中了
-trk: 连接还未被保存
new：这是一个新的连接，只能用于出于uncommited 的连接。
est: 已经建立起来的连接，只能用与处于committed的连接
rel：已经存在的连接，处理icmp与ftp连接，只能用与处于committed的连接
inv：不合法的状态，netfilter不能识别这个连接，这里flag处理因为一些错误导致traffic不能被netfiler处理，例如协议错误，报文长度错误，没有加载nf_conntrack_ipv4等。
+trk+est: 表明这个连接是合法的，已经被跟踪，并且被netfilter标记为允许通过的连接。
+trk+new: 表明这是一个新的连接，如果netfiler允许这个连接通过并cache这个连接，commit 后，下一个包到达后netfilter将返回+trk+est flag。如果netfilter不允许连接通过，这个连接将被丢弃。
2. 无状态实现
无状态的实现对ovs版本没有要求，对于tcp连接，通过tcp syn flag建立伪连接进行连接状态跟踪，默认syn packets是drop的，除非有rule允许其通过。对于其他协议，全部允许通过。
3. pipeline
当VM启动后，默认会为VM所在的端口创建fixed rules，包括dhcp ，arp与contrack rules。contrack rules 仅在有状态的ovs中支持。
3.1 dhcp fixed rules
1．Allow dhcp server traffic ingress, client listen to 68, server listen to 67
|
1 2 |
cookie=0x0, duration=36.848s, table=90, n_packets=2, n_bytes=717, priority=61006,udp,dl_src=fa:16:3e:a1:f9:d0,tp_src=67,tp_dst=68 actions=goto_table:100 cookie=0x0, duration=36.566s, table=90, n_packets=0, n_bytes=0, priority=61006, udp6,dl_src=fa:16:3e:a1:f9:d0,tp_src=547,tp_dst=546 actions=goto_table:100 |
2. Allow DHCP client traffic egress.
|
1 2 3 4 5 |
cookie=0x0, duration=2165.596s, table=40, n_packets=2, n_bytes=674, priority=61012, udp,tp_src=68,tp_dst=67 actions=goto_table:50 cookie=0x0, duration=2165.513s, table=40, n_packets=0, n_bytes=0, priority=61012, udp6,tp_src=546,tp_dst=547 actions=goto_table:50 3. Prevent DHCP server traffic from the vm port.(DHCP Spoofing) cookie=0x0, duration=34.711s, table=40, n_packets=0, n_bytes=0, priority=61011, udp, in_port=2,tp_src=67,tp_dst=68 actions=drop cookie=0x0, duration=34.519s, table=40, n_packets=0, n_bytes=0, priority=61011, udp6,in_port=2,tp_src=547,tp_dst=546 actions=drop |
3.2 Arp fixed rules
|
1 2 3 4 5 6 |
# output from vm cookie=0x0, duration=35.015s, table=40, n_packets=10, n_bytes=420, priority=61010,arp, arp_sha=fa:16:3e:93:88:60 actions=goto_table:50 #input to vm cookie=0x0, duration=35.582s, table=90, n_packets=1, n_bytes=42, priority=61010,arp,arp_tha=fa:16:3e:93:88:60 actions=goto_table:100 arp snoofing? A: look table 0 rule |
3.3 Conntrack fixed rules
|
1 2 3 4 5 6 |
cookie=0x0, duration=35.015s table=40,priority=61021,in_port=3,ct_state=-trk,action=ct"("table=0")" cookie=0x0, duration=35.015s table=40,priority=61020,in_port=3,ct_state=+trk+est,action=goto_table:50 cookie=0x0, duration=35.015s table=40,priority=36002,in_port=3,ct_state=+new,actions=drop cookie=0x0, duration=35.015s table=90,priority=61022,dl_dst=fa:16:3e:0d:8d:21,ct_state=+trk+est,action=goto_table:100 cookie=0x0, duration=35.015s table=90,priority=61021,dl_dst=fa:16:3e:0d:8d:21,ct_state=-trk,action=ct"("table=0")" cookie=0x0, duration=35.015s table=90,priority=36002,dl_dst=fa:16:3e:0d:8d:21,ct_state=+new,actions=drop |
- 如果packet没有被track（state=-trk），那么将被发送的netfilter处理
- 如果packet状态为+trk+est，那么允许packet通过
- 默认drop其他类型的包
3.4 TCP Syn fixed rule
默认丢弃所有tcp syn的packets
4 小节
最后用户也可以根据自己的需要创建自己的security grouprules，ovs可以实现与iptables相同的功能。当前ODL支持的rules：
|
Protocol |
Port Range |
IP Prefix |
Remote Security Group supported |
| Any | Any | Any | Yes |
| TCP | 1 - 65535 | 0.0.0.0/0 | Yes |
| UDP | 1 - 65535 | 0.0.0.0/0 | Yes |
| ICMP | Any | 0.0.0.0/0 | Yes |
LBaaS
1. 实现原理
图 1 LBaaS实现
LBaaS利用OpenVSwitch的mutipath功能来实现的，mutipath的action中的max_link代表后端资源池的数目。
当通过vip访问VM中的服务时，根据目的IP报文被路由到OVS节点，进入pipeline进行处理，在表50中，OpenVSwitch对报文的5元组做hash，hash结果（1～max_link-1）放到reg1中，根据link值，修改报文的目的MAC为VM的MAC，让后将报文送到VM中。
LBaaS的实现类似于LVS的DR模式，也是通过修改报文的目的MAC来实现的。因为是通过对5元组进行hash来选择server的，所以仅支持RR调度，而LVS支持3种调度方式，8种流量调度算法，LBaaS的不足之处还有：
1 每个子网只允许创建一个LBaaS实例
2 不能实时监控后端服务器的状态，如果后端服务不可用后，不能动态删除与添加
3 LBaas只能实现3层负载分担，不支持4，7层。
4 不支持HA
从中可以看出当前LBaaS的实现还是一个prototype，离实际应用还很远。
2 pipeline
2.1 external network access
1.inboudflow：
|
1 2 3 4 5 6 7 8 9 |
# lbaas implement cookie=0x0, duration=39.525s, table=50, n_packets=0, n_bytes=0, send_flow_rem ip,reg0=0,tun_id=0x3eb,nw_dst=10.0.0.5 actions=load:0x1->NXM_NX_REG0[],multipath(symmetric_l4,0,modulo_n,3,0,NXM_NX_REG1[]),resubmit(,50) #link1 cookie=0x0, duration=9.401s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=32769,ip,reg0=0x1,reg1=0x2,tun_id=0x3eb,nw_dst=10.0.0.5 actions=set_field:00:01:02:03:04:06->eth_dst,set_field:10.0.00 #link2 cookie=0x0, duration=22.953s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=32769,ip,reg0=0x1,reg1=0x1,tun_id=0x3eb,nw_dst=10.0.0.5 actions=set_field:00:01:02:03:04:02->eth_dst,set_field:10.0.0 #link3 cookie=0x0, duration=39.527s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=32769,ip,reg0=0x1,reg1=0,tun_id=0x3eb,nw_dst=10.0.0.5 actions=set_field:00:01:02:03:04:02->eth_dst,set_field:10.0.0.0 cookie=0x0, duration=53.952s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=0 actions=goto_table:60 |
2. outbound：
|
1 2 3 4 5 6 |
#reverse link1 cookie=0x0, duration=39.514s, table=50, n_packets=0, n_bytes=0, send_flow_rem tcp,tun_id=0x3eb,nw_src=10.0.0.7,tp_src=80actions=set_field:10.0.0.5->ip_src,goto_table:60 #reverse link2 cookie=0x0, duration=9.398s, table=50, n_packets=0, n_bytes=0, send_flow_rem tcp,tun_id=0x3eb,nw_src=10.0.0.9,tp_src=80actions=set_field:10.0.0.5->ip_src,goto_table:60 #reverse link3 cookie=0x0, duration=22.951s, table=50, n_packets=0, n_bytes=0, send_flow_rem tcp,tun_id=0x3eb,nw_src=10.0.0.8,tp_src=80actions=set_field:10.0.0.5->ip_src,goto_table:60 |
2.2 intra-subnet access
对于内部子网的LB，因为没有分配floatingip，所以需要为VIP创建一个dummy端口，例如端口的ip的10.0.0.5，mac为fa:16:3e:d1:70:1f
1.inbound
|
1 2 3 4 5 6 7 |
#lbaas implemetion cookie=0x0, duration=29.852s, table=50, n_packets=0, n_bytes=0, send_flow_rem ip,reg1=0,tun_id=0x3eb,nw_dst=10.0.0.5 actions=load:0x1->NXM_NX_REG1[],multipath(symmetric_l4,0,modulo_n,2,0,NXM_NX_REG2[]),resubmit(,50) #link1 cookie=0x0, duration=28.847s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=32769,ip,reg1=0x1,reg2=0x1,tun_id=0x3eb, nw_dst=10.0.0.5 actions=set_field:fa:16:3e:b8:b9:26->eth_dst, set_field:10.0.0.3->ip_dst,goto_table:60 #link2 cookie=0x0, duration=29.349s, table=50, n_packets=0, n_bytes=0, send_flow_rem priority=32769,ip,reg1=0x1,reg2=0,tun_id=0x3eb, nw_dst=10.0.0.5 actions=set_field:fa:16:3e:9a:e6:4e->eth_dst, set_field:10.0.0.2->ip_dst,goto_table:60 cookie=0x0, duration=593.841s, table=50, n_packets=115, n_bytes=10838, send_flow_rem priority=0 actions=goto_table:60 |
2．outbound
|
1 2 3 4 |
#reverse link1 cookie=0x0, duration=28.344s, table=50, n_packets=0, n_bytes=0, send_flow_rem tcp,tun_id=0x3eb,nw_src=10.0.0.2,tp_src=80 actions=set_field:10.0.0.5->ip_src,set_field:fa:16:3e:d1:70:1f->eth_dst,goto_table:60 #reverse link2 cookie=0x0, duration=27.843s, table=50, n_packets=0, n_bytes=0, send_flow_rem tcp,tun_id=0x3eb,nw_src=10.0.0.3,tp_src=80 actions=set_field:10.0.0.5->ip_src,set_field:fa:16:3e:d1:70:1f->eth_dst,goto_table:60 |
总结
netvirt项目开始于2013年，受限于当时ODL的plugin还不是很多，ovs还不支持conntrack功能，netvirt的功能基本上都是采用ovs的静态流表实现的，随着odl plugin的越来越丰富，功能也越来越稳定，社区正在对netvirt进行重新设计包括pipeline，引入odl中其他plugin，例如ARP，DHCP交给dhcpservice进行处理，L2使用ELAN manager来管理等等。
参考资料
https://wiki.opendaylight.org/view/NetVirt
http://www.flaviof.com/blog/work/how-to-odl-with-openstack-part1.html
http://www.flaviof.com/blog/work/how-to-odl-with-openstack-part2.html
http://www.flaviof.com/blog/work/how-to-odl-with-openstack-part3.html
作者简介：胡西宁，搞过neutron，对SDN/NFV有浓厚兴趣，一直从事相关工作，现在某通信公司工作
