第 7 章 把一个实例连接到物理网络

数据包会离开实例并直接到达一个外部网络：一旦配置了 br-ex，添加物理接口，并把实例分配到一个 Compute 节点上。通过这一步所获得的接口和网桥将会和下图所示类似：

1. 从实例的 eth0 接口发送的数据包会首先到达 linux 网桥 qbr-xx。

2. 网桥 qbr-xx 通过 qvb-xx <-> qvo-xxx 连接到 br-int。

3. 接口 qvb-xx 被连接到 qbr-xx linux 网桥，qvo-xx 被连接到 br-int Open vSwitch (OVS) 网桥。

qbr269d4d73-e7		8000.061943266ebb	no		qvb269d4d73-e7
							tap269d4d73-e7

  Bridge br-int
        fail_mode: secure
            Interface "qvof63599ba-8f"
        Port "qvo269d4d73-e7"
            tag: 5
            Interface "qvo269d4d73-e7"

然后，数据包会根据 int-br-ex <-> phy-br-ex 被移到 br-ex OVS 网桥。

    Bridge br-int
        fail_mode: secure
       Port int-br-ex
            Interface int-br-ex
                type: patch
                options: {peer=phy-br-ex}

    Bridge br-ex
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port br-ex
            Interface br-ex
                type: internal

当数据包到达 br-ex 中的 phy-br-ex 后，br-ex 内的 OVS 数据流会删除 VLAN tag（5），并转发到物理接口上。

在以下例子中，输出显示了 phy-br-ex 的端口号是 2。

# ovs-ofctl show br-ex
OFPT_FEATURES_REPLY (xid=0x2): dpid:00003440b5c90dc6
n_tables:254, n_buffers:256
capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP
actions: OUTPUT SET_VLAN_VID SET_VLAN_PCP STRIP_VLAN SET_DL_SRC SET_DL_DST SET_NW_SRC SET_NW_DST SET_NW_TOS SET_TP_SRC SET_TP_DST ENQUEUE

 2(phy-br-ex): addr:ba:b5:7b:ae:5c:a2
     config:     0
     state:      0
     speed: 0 Mbps now, 0 Mbps max

以下输出显示了，所有到达 phy-br-ex（in_port=2） 的数据包都带有一个 VLAN tag 5（dl_vlan=5）。然后，VLAN tag 被删除，数据包被转发到（actions=strip_vlan,NORMAL）。

# ovs-ofctl dump-flows br-ex
NXST_FLOW reply (xid=0x4):
 cookie=0x0, duration=4703.491s, table=0, n_packets=3620, n_bytes=333744, idle_age=0, priority=1 actions=NORMAL
 cookie=0x0, duration=3890.038s, table=0, n_packets=13, n_bytes=1714, idle_age=3764, priority=4,in_port=2,dl_vlan=5 actions=strip_vlan,NORMAL
 cookie=0x0, duration=4702.644s, table=0, n_packets=10650, n_bytes=447632, idle_age=0, priority=2,in_port=2 actions=drop

然后，这个数据包被转发到物理接口。如果这个物理接口是一个不同的 vlan tagged 接口，接口会把它的 vlan tag 添加到数据包中。

本节介绍了从外部网络发出的入站数据到达实例接口的流程。

1. 入站网络数据首先到达物理节点的 eth1。

2. 数据包被发送到 br-ex 网桥。

3. 数据包根据 phy-br-ex <--> int-br-ex 被移到 br-int。

在下面的例子中，int-br-ex 使用端口 15。请参阅包括 15(int-br-ex) 的项：

ovs-ofctl show br-int
OFPT_FEATURES_REPLY (xid=0x2): dpid:00004e67212f644d
n_tables:254, n_buffers:256
capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP
actions: OUTPUT SET_VLAN_VID SET_VLAN_PCP STRIP_VLAN SET_DL_SRC SET_DL_DST SET_NW_SRC SET_NW_DST SET_NW_TOS SET_TP_SRC SET_TP_DST ENQUEUE
 15(int-br-ex): addr:12:4e:44:a9:50:f4
     config:     0
     state:      0
     speed: 0 Mbps now, 0 Mbps max

# ovs-ofctl dump-flows br-int
NXST_FLOW reply (xid=0x4):
 cookie=0x0, duration=5351.536s, table=0, n_packets=12118, n_bytes=510456, idle_age=0, priority=1 actions=NORMAL
 cookie=0x0, duration=4537.553s, table=0, n_packets=3489, n_bytes=321696, idle_age=0, priority=3,in_port=15,vlan_tci=0x0000 actions=mod_vlan_vid:5,NORMAL
 cookie=0x0, duration=5350.365s, table=0, n_packets=628, n_bytes=57892, idle_age=4538, priority=2,in_port=15 actions=drop
 cookie=0x0, duration=5351.432s, table=23, n_packets=0, n_bytes=0, idle_age=5351, priority=0 actions=drop

2. 第 2 个规则管理到达 int-br-ex (in_port=15) 上的不带有 VLAN tag (vlan_tci=0x0000) 的数据包：它把 VLAN tag 5 添加到数据包上（actions=mod_vlan_vid:5,NORMAL），然后把它转发到 qvo-xxx。

3. qvo-xxx 接受数据包并在删除 VLAN tag 后把它转发到 qvb-xx。

4. 数据包然后会到达实例。

如果一个扁平化的供应商网络出现了问题，可以从上一节中所显示的输出中获取信息进行故障排除。以下介绍的步骤会进一步帮助您进行故障排除。

1. 检查 bridge_mappings：

确认使用的物理网络名（例如 physnet1）和 bridge_mapping 配置的内容相匹配。例如：

# grep bridge_mapping /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
bridge_mappings = physnet1:br-ex

# neutron net-show provider-flat
...
| provider:physical_network | physnet1
...

2. 检查网络配置：

确认网络被创建为 external，类型是 flat：

# neutron net-show provider-flat
...
| provider:network_type     | flat                                 |
| router:external           | True                                 |
...

3. 检查 patch-peer：

运行 ovs-vsctl show，确认 br-int 和 br-ex 通过使用 patch-peer int-br-ex <--> phy-br-ex 进行连接。

这个连接在 neutron-openvswitch-agent 服务重启时被创建，并需要 bridge_mapping 在 /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini 中被正确配置。如果没有被创建，请再次检查 bridge_mapping 的设置（即使已重启了服务）。

3. 检查网络数据流：

运行 ovs-ofctl dump-flows br-ex 和 ovs-ofctl dump-flows br-int，检查内部 VLAND ID 是否已从向外的数据包中删除，以及 VLAN ID 是否已被添加到向内的数据包中。当在特定 Compute 节点的这个网络上分配实例时，这个数据流会被创建。

例如，以下输出显示 eth1 是 br-ex 中的一个端口：

    Bridge br-ex
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port "eth1"
            Interface "eth1"

以下例子显示，eth1 被配置为一个 OVS 端口，内核知道从接口上传输所有数据包，并把它们发送到 OVS 网桥 br-ex。这些可以在 master ovs-system 项中找到。

# ip a
5: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master ovs-system state UP qlen 1000

本节介绍了数据包离开一个实例并直接到达一个 VLAN 供应商外部网络的流程。这个例子使用了两个附加到两个 VLAN 网络的实例（171 和 172）。在配置完 br-ex 后，为它添加一个物理网络，并把一个实例分配到一个 Compute 节点。通过这一步所获得的接口和网桥将会和下图所示类似：

1. 如上所示，离开实例的 eth0 接口的数据会首先到达与实例相连接的 linux 网桥 qbr-xx。

2. qbr-xx 使用 qvb-xx <→ qvo-xxx 连接到 br-int。

3. qvb-xx 被连接到 linux 网桥 qbr-xx；qvo-xx 连接到 Open vSwitch 网桥 br-int。

# brctl show
bridge name	bridge id		STP enabled	interfaces
qbr84878b78-63		8000.e6b3df9451e0	no		qvb84878b78-63
							tap84878b78-63

qbr86257b61-5d		8000.3a3c888eeae6	no		qvb86257b61-5d
							tap86257b61-5d

                options: {peer=phy-br-ex}
        Port "qvo86257b61-5d"
            tag: 3

            Interface "qvo86257b61-5d"
        Port "qvo84878b78-63"
            tag: 2
            Interface "qvo84878b78-63"

    Bridge br-int
        fail_mode: secure
       Port int-br-ex
            Interface int-br-ex
                type: patch
                options: {peer=phy-br-ex}

    Bridge br-ex
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port br-ex
            Interface br-ex
                type: internal

以下命令的输出显示了，phy-br-ex 端口号是 4：

# ovs-ofctl show br-ex
 4(phy-br-ex): addr:32:e7:a1:6b:90:3e
     config:     0
     state:      0
     speed: 0 Mbps now, 0 Mbps max

以下命令显示了到达 phy-br-ex（in_port=4）的数据包带有 vlan tag 2（dl_vlan=2）。Open vSwitch 会把这个 VLAN tag 替换为 171（actions=mod_vlan_vid:171,NORMAL）后转发数据包。 它还显示了到达 phy-br-ex（in_port=4）的数据包带有 vlan tag 3（dl_vlan=3）。Open vSwitch 会把这个 VLAN tag 替换为 172（actions=mod_vlan_vid:172,NORMAL）后转发数据包。这些规则由 neutron-openvswitch-agent 自动添加。

# ovs-ofctl dump-flows br-ex
NXST_FLOW reply (xid=0x4):
NXST_FLOW reply (xid=0x4):
 cookie=0x0, duration=6527.527s, table=0, n_packets=29211, n_bytes=2725576, idle_age=0, priority=1 actions=NORMAL
 cookie=0x0, duration=2939.172s, table=0, n_packets=117, n_bytes=8296, idle_age=58, priority=4,in_port=4,dl_vlan=3 actions=mod_vlan_vid:172,NORMAL
 cookie=0x0, duration=6111.389s, table=0, n_packets=145, n_bytes=9368, idle_age=98, priority=4,in_port=4,dl_vlan=2 actions=mod_vlan_vid:171,NORMAL
 cookie=0x0, duration=6526.675s, table=0, n_packets=82, n_bytes=6700, idle_age=2462, priority=2,in_port=4 actions=drop

以下命令显示了 int-br-ex 有一个端口号是 15。

# ovs-ofctl show br-int
 18(int-br-ex): addr:fe:b7:cb:03:c5:c1
     config:     0
     state:      0
     speed: 0 Mbps now, 0 Mbps max

# ovs-ofctl dump-flows br-int
NXST_FLOW reply (xid=0x4):
 cookie=0x0, duration=6770.572s, table=0, n_packets=1239, n_bytes=127795, idle_age=106, priority=1 actions=NORMAL
 cookie=0x0, duration=3181.679s, table=0, n_packets=2605, n_bytes=246456, idle_age=0, priority=3,in_port=18,dl_vlan=172 actions=mod_vlan_vid:3,NORMAL
 cookie=0x0, duration=6353.898s, table=0, n_packets=5077, n_bytes=482582, idle_age=0, priority=3,in_port=18,dl_vlan=171 actions=mod_vlan_vid:2,NORMAL
 cookie=0x0, duration=6769.391s, table=0, n_packets=22301, n_bytes=2013101, idle_age=0, priority=2,in_port=18 actions=drop
 cookie=0x0, duration=6770.463s, table=23, n_packets=0, n_bytes=0, idle_age=6770, priority=0 actions=drop

第 2 个规则表示，一个带有 vlan tag 172（dl_vlan=172）的数据包到达 int-br-ex（in_port=15），把 vlan tag 替换为 3（actions=mod_vlan_vid:3,NORMAL）并转发。第 3 个规则表示，一个带有 vlan tag 171（dl_vlan=171）的数据包到达 int-br-ex（in_port=15），把 vlan tag 替换为 2（actions=mod_vlan_vid:2,NORMAL）并转发。

请注意，在这个例子中，neutron-openvswitch-agent 会自动在 compute 节点上使用 vlan tag 2 和 3 来分别代表 vlan 供应商网络 provider-171 和 provider-172。这可能和您实际的 vlan 供应商网络不同，并且两个不同 compute 节点上的值也可能不同。

在对一个 VLAN 供应商网络中的网络连接性进行故障排除时，可以参阅本节中介绍的与数据包流相关的内容。另外，请检查以下配置选项：

1. 确认使用的网络名是一致的。在这个例子中，physnet1 在创建网络和 bridge_mapping 配置中被一致使用：

# grep bridge_mapping /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
bridge_mappings = physnet1:br-ex

# neutron net-show provider-vlan171
...
| provider:physical_network | physnet1
...

2. 确认网络被创建为 external，类型是 vlan，并且使用了正确的 segmentation_id 值：

# neutron net-show provider-vlan171
...
| provider:network_type     | vlan                                 |
| provider:physical_network | physnet1                             |
| provider:segmentation_id  | 171                                  |
...

3. 运行 ovs-vsctl show，确认 br-int 和 br-ex 使用 patch-peer int-br-ex <→ phy-br-ex 进行了连接。
这个连接会在重启 neutron-openvswitch-agent 后被创建（需要在 /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini 中正确配置了 bridge_mapping）。
如果在重启服务后没有创建这个连接，请再次检查 bridge_mapping 的设置。

4. 运行 ovs-ofctl dump-flows br-ex 和 ovs-ofctl dump-flows br-int 来检查出站数据流，确认数据流把内部 VLAN ID 映射到外部 VLAN id（segmentation_id）。对于入站的数据包，把外部 VLAN ID 映射到内部 VLAN ID。
当第一次把实例连接到这个网络时，neutron openvswitch agent 会添加数据流。如果在连接实例后没有创建数据流，请检查网络是否被创建为 vlan，并且是 external，physical_network 名称是正确的。另外，再次检查 bridge_mapping 的设置。

5. 最后，重新检查 ifcfg-br-ex 和 ifcfg-ethx 的配置。确认 ethX 作为一个端口在 br-ex 内添加，并且它们在 ip a 命令输出中有 UP 标记。
例如，以下输出显示，eth1 是 br-ex 中的一个端口。

    Bridge br-ex
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port "eth1"
            Interface "eth1"

以下命令显示，eth1 作为一个端口被添加，内核知道把所有数据包从节点移到 OVS 网桥 br-ex。这些信息包括在 master ovs-system 项中。

# ip a
5: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master ovs-system state UP qlen 1000