网络功能虚拟化规划和配置指南

流程

1. 在 Content Delivery Network 中注册您的系统，在提示时输入您的客户门户网站用户名和密码。

   [stack@director ~]$ sudo subscription-manager register

2. 确定 Red Hat OpenStack Platform director 的权利池 ID，例如来自以下命令和输出的 {Pool ID}：

   [stack@director ~]$ sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
   Subscription Name:   Name of SKU
   Provides:            Red Hat Single Sign-On
                        Red Hat Enterprise Linux Workstation
                        Red Hat CloudForms
                        Red Hat OpenStack
                        Red Hat Software Collections (for RHEL Workstation)
                        Red Hat Virtualization
   SKU:                 SKU-Number
   Contract:            Contract-Number
   Pool ID:             {Pool-ID}-123456
   Provides Management: Yes
   Available:           1
   Suggested:           1
   Service Level:       Support-level
   Service Type:        Service-Type
   Subscription Type:   Sub-type
   Ends:                End-date
   System Type:         Physical

3. 在以下命令中包括 池 ID 值来附加 Red Hat OpenStack Platform 16.1 权利。

   [stack@director ~]$ sudo subscription-manager attach --pool={Pool-ID}-123456

4. 禁用默认存储库。

   subscription-manager repos --disable=*

5. 使用 NFV 为 Red Hat OpenStack Platform 启用所需的存储库。

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-baseos-eus-rpms \
   --enable=rhel-8-for-x86_64-appstream-eus-rpms \
   --enable=rhel-8-for-x86_64-highavailability-eus-rpms \
   --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
   --enable=openstack-16.1-for-rhel-8-x86_64-rpms \
   --enable=rhel-8-for-x86_64-nfv-rpms \
   --enable=advanced-virt-for-rhel-8-x86_64-rpms \
   --enable=fast-datapath-for-rhel-8-x86_64-rpms

6. 更新您的系统，以便具有最新的基本系统软件包。

   [stack@director ~]$ sudo dnf update -y
   [stack@director ~]$ sudo reboot

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成名为 roles_data_compute_sriov.yaml 的新角色数据文件，其中包含 Controller 和 ComputeSriov 角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_compute_sriov.yaml \
    Controller ComputeSriov

   ComputeSriov 是您的 RHOSP 安装提供的自定义角色，除了默认的计算服务外，还包括 NeutronSriovAgent、NeutronSriovHostConfig 服务。

4. 要准备 SR-IOV 容器，在生成 overcloud_images.yaml 文件时包括 neutron-sriov.yaml 和 roles_data_compute_sriov.yaml 文件。

   $ sudo openstack tripleo container image prepare \
     --roles-file ~/templates/roles_data_compute_sriov.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/services/neutron-sriov.yaml \
     -e ~/containers-prepare-parameter.yaml \
     --output-env-file=/home/stack/templates/overcloud_images.yaml

   如需有关容器镜像准备的更多信息，请参阅 Director 安装和使用指南中的准备容器镜像。

5. 在环境文件目录中，创建 /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml 文件的副本：

   $ cp /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml /home/stack/templates/network-environment-sriov.yaml

6. 在您的 network-environment-sriov.yaml 文件的 parameter_defaults 下添加以下参数，为您的集群和硬件配置 SR-IOV 节点：

     NeutronNetworkType: 'vlan'
     NeutronNetworkVLANRanges:
       - tenant:22:22
       - tenant:25:25
     NeutronTunnelTypes: ''

7. 要确定每个 PCI 设备类型的 vendor_id 和 product_id，请在具有 PCI 卡的物理服务器上使用以下命令之一：

   • 要从部署的 overcloud 返回 vendor_id 和 product_id，请使用以下命令：

     # lspci -nn -s  <pci_device_address>
     3b:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ [<vendor_id>: <product_id>] (rev 02)

   • 如果您还没有部署 overcloud，要返回物理功能(PF)的 vendor_id 和 product_id，请使用以下命令：

     (undercloud) [stack@undercloud-0 ~]$ openstack baremetal introspection data save <baremetal_node_name> | jq '.inventory.interfaces[] | .name, .vendor, .product'

8. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置特定于角色的参数：

     ComputeSriovParameters:
       IsolCpusList: "1-19,21-39"
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=1-19,21-39"
       TunedProfileName: "cpu-partitioning"
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysicalDevMappings:
         - tenant:p7p1
       NovaComputeCpuDedicatedSet: '1-19,21-39'
       NovaReservedHostMemory: 4096

   注意

   NovaVcpuPinSet 参数现已弃用，它被用于专用固定工作负载的 NovaComputeCpuDedicatedSet 替代。

9. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置 PCI 透传设备：

     ComputeSriovParameters:
       ...
       NovaPCIPassthrough:
         - vendor_id: "<vendor_id>"
           product_id: "<product_id>"
           address: <NIC_address>
           physical_network: "<physical_network>"
       ...

   • 将 <vendor_id > 替换为 PCI 设备的供应商 ID。
   • 将 <product_id > 替换为 PCI 设备的产品 ID。
   • 将 <NIC_address > 替换为 PCI 设备的地址。有关如何配置 address 参数的详情，请参考 Configuring the Compute Service for Instance Creation 指南中的 Guidelines for configuring NovaPCIPassthrough 部分。

   • 使用 PCI 设备所在物理网络的名称替换 <physical_network>。

     注意

     当您配置 PCI 透传时，不要使用 devname 参数，因为 NIC 的设备名称可能会改变。要在 PF 上创建网络服务(neutron)端口，请指定 vendor_id、product_id，以及 NovaPCIPassthrough 中的 PCI 设备地址，并使用 --vnic-type direct-physical 选项创建端口。要在虚拟功能(VF)上创建网络服务端口，请在 NovaPCIPassthrough 中指定 vendor_id 和 product_id，并使用 --vnic-type direct 选项创建端口。vendor_id 和 product_id 参数的值可能会在物理功能(PF)和 VF 上下文之间有所不同。有关如何配置 NovaPCIPassthrough 的更多信息，请参阅 Configuring the Compute Service for Instance Creation 指南中的 Guidelines for configuring NovaPCIPassthrough。

10. 在 compute.yaml 网络配置模板中配置启用的 SR-IOV 接口。要创建 SR-IOV VF，将接口配置为独立 NIC：

                 - type: sriov_pf
                    name: p7p3
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false
    
                  - type: sriov_pf
                    name: p7p4
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false

    注意

    numvfs 参数替换网络配置 模板中的 NeutronSriovNum VFs 参数。部署后，红帽不支持修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任何参数，则可能会导致在该 PF 上有 SR-IOV 端口的运行实例中断。在这种情况下，您必须硬重启这些实例，使 SR-IOV PCI 设备再次可用。

11. 确保默认过滤器列表包含值 AggregateInstanceExtraSpecsFilter ：

    NovaSchedulerDefaultFilters: ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','AggregateInstanceExtraSpecsFilter']

12. 运行 overcloud_deploy.sh 脚本。

流程

1. 为您选择的角色打开 NIC 配置文件。

2. 为接口类型 sriov_pf 添加条目以配置主机可以使用的物理功能：

           - type: sriov_pf
               name: <interface name>
               use_dhcp: false
               numvfs: <number of vfs>
               promisc: <true/false> #optional (Defaults to true)

   注意

   numvfs 参数替换网络配置 模板中的 NeutronSriovNum VFs 参数。部署后，红帽不支持修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任何参数，则可能会导致在该物理功能(PF)上运行 SR-IOV 端口的实例中断。在这种情况下，您必须硬重启这些实例，使 SR-IOV PCI 设备再次可用。

3. 为接口类型 sriov_vf 添加条目来配置主机可以使用的虚拟功能：

    - type: <bond_type>
      name: internal_bond
      bonding_options: mode=<bonding_option>
      use_dhcp: false
      members:
      - type: sriov_vf
          device: <pf_device_name>
          vfid: <vf_id>
      - type: sriov_vf
          device:  <pf_device_name>
          vfid: <vf_id>
   
    - type: vlan
      vlan_id:
        get_param: InternalApiNetworkVlanID
      spoofcheck: false
      device: internal_bond
      addresses:
      - ip_netmask:
          get_param: InternalApiIpSubnet
      routes:
        list_concat_unique:
        - get_param: InternalApiInterfaceRoutes

   • 将 <bond_type > 替换为所需的绑定类型，例如 linux_bond。您可以为其他绑定应用 VLAN 标签，如 ovs_bond。

   • 将 <bonding_option > 替换为以下支持的绑定模式之一：

     • active-backup

     • balance-slb

       注意

       不支持 LACP 绑定。

   • 在 members 部分中，将 sriov_vf 指定为到 bond 的接口类型。

     注意

     如果您使用 OVS 网桥作为接口类型，您可以在 sriov_pf 设备的 sriov_vf 上配置一个 OVS 网桥。单个 sriov_pf 设备中的多个 OVS 网桥可能会导致 VF 间的数据包重复，并降低性能。

   • 将 <pf_device_name > 替换为 PF 设备的名称。
   • 如果使用 linux_bond，则必须分配 VLAN 标签。
   • 将 <vf_id > 替换为 VF 的 ID。适用的 VF ID 范围从零开始，结尾是 VFs减一的最大数量。
4. 禁用 spoof 检查，并在 sriov_vf for linux_bond 通过 VF 应用 VLAN 标签。

5. 要为实例保留 VF，请在环境文件中包括 NovaPCIPassthrough 参数，例如：

   NovaPCIPassthrough:
    - address: "0000:19:0e.3"
      trusted: "true"
      physical_network: "sriov1"
    - address: "0000:19:0e.0"
      trusted: "true"
      physical_network: "sriov2"

   director 识别主机 VF，并生成可供实例可用的 VF 的 PCI 地址。

6. 在所有需要 NIC 分区的节点上启用 IOMMU。例如，如果要将 NIC 分区用于 Compute 节点，请使用该角色的 KernelArgs 参数启用 IOMMU。

   parameter_defaults:
     ComputeParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

7. 将角色文件和环境文件添加到堆栈中与其他环境文件一起部署 overcloud：
   

   (undercloud)$ openstack overcloud deploy --templates \
     -r os-net-config.yaml
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

验证

1. 检查 VF 的数量。

   [root@overcloud-compute-0 heat-admin]# cat /sys/class/net/p4p1/device/sriov_numvfs
   10
   [root@overcloud-compute-0 heat-admin]# cat /sys/class/net/p4p2/device/sriov_numvfs
   10

2. 检查 Linux 绑定。

   [root@overcloud-compute-0 heat-admin]# cat /proc/net/bonding/intapi_bond
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: None
   Currently Active Slave: p4p1_1
   MII Status: up
   MII Polling Interval (ms): 0
   Up Delay (ms): 0
   Down Delay (ms): 0
   
   Slave Interface: p4p1_1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 16:b4:4c:aa:f0:a8
   Slave queue ID: 0
   
   Slave Interface: p4p2_1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: b6:be:82:ac:51:98
   Slave queue ID: 0
   [root@overcloud-compute-0 heat-admin]# cat /proc/net/bonding/st_bond
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: None
   Currently Active Slave: p4p1_3
   MII Status: up
   MII Polling Interval (ms): 0
   Up Delay (ms): 0
   Down Delay (ms): 0
   
   Slave Interface: p4p1_3
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 9a:86:b7:cc:17:e4
   Slave queue ID: 0
   
   Slave Interface: p4p2_3
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: d6:07:f8:78:dd:5b
   Slave queue ID: 0

3. 列出 OVS 绑定。

   [root@overcloud-compute-0 heat-admin]# ovs-appctl bond/show
   ---- bond_prov ----
   bond_mode: active-backup
   bond may use recirculation: no, Recirc-ID : -1
   bond-hash-basis: 0
   updelay: 0 ms
   downdelay: 0 ms
   lacp_status: off
   lacp_fallback_ab: false
   active slave mac: f2:ad:c7:00:f5:c7(dpdk2)
   
   slave dpdk2: enabled
     active slave
     may_enable: true
   
   slave dpdk3: enabled
     may_enable: true
   
   ---- bond_tnt ----
   bond_mode: active-backup
   bond may use recirculation: no, Recirc-ID : -1
   bond-hash-basis: 0
   updelay: 0 ms
   downdelay: 0 ms
   lacp_status: off
   lacp_fallback_ab: false
   active slave mac: b2:7e:b8:75:72:e8(dpdk0)
   
   slave dpdk0: enabled
     active slave
     may_enable: true
   
   slave dpdk1: enabled
     may_enable: true

4. 显示 OVS 连接。

   [root@overcloud-compute-0 heat-admin]# ovs-vsctl show
   cec12069-9d4c-4fa8-bfe4-decfdf258f49
       Manager "ptcp:6640:127.0.0.1"
           is_connected: true
       Bridge br-tenant
           fail_mode: standalone
           Port br-tenant
               Interface br-tenant
                   type: internal
           Port bond_tnt
               Interface "dpdk0"
                   type: dpdk
                   options: {dpdk-devargs="0000:82:02.2"}
               Interface "dpdk1"
                   type: dpdk
                   options: {dpdk-devargs="0000:82:04.2"}
       Bridge "sriov2"
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           Port "phy-sriov2"
               Interface "phy-sriov2"
                   type: patch
                   options: {peer="int-sriov2"}
           Port "sriov2"
               Interface "sriov2"
                   type: internal
       Bridge br-int
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           Port "int-sriov2"
               Interface "int-sriov2"
                   type: patch
                   options: {peer="phy-sriov2"}
           Port br-int
               Interface br-int
                   type: internal
           Port "vhu93164679-22"
               tag: 4
               Interface "vhu93164679-22"
                   type: dpdkvhostuserclient
                   options: {vhost-server-path="/var/lib/vhost_sockets/vhu93164679-22"}
           Port "vhu5d6b9f5a-0d"
               tag: 3
               Interface "vhu5d6b9f5a-0d"
                   type: dpdkvhostuserclient
                   options: {vhost-server-path="/var/lib/vhost_sockets/vhu5d6b9f5a-0d"}
           Port patch-tun
               Interface patch-tun
                   type: patch
                   options: {peer=patch-int}
           Port "int-sriov1"
               Interface "int-sriov1"
                   type: patch
                   options: {peer="phy-sriov1"}
           Port int-br-vfs
               Interface int-br-vfs
                   type: patch
                   options: {peer=phy-br-vfs}
       Bridge br-vfs
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           Port phy-br-vfs
               Interface phy-br-vfs
                   type: patch
                   options: {peer=int-br-vfs}
           Port bond_prov
               Interface "dpdk3"
                   type: dpdk
                   options: {dpdk-devargs="0000:82:04.5"}
               Interface "dpdk2"
                   type: dpdk
                   options: {dpdk-devargs="0000:82:02.5"}
           Port br-vfs
               Interface br-vfs
                   type: internal
       Bridge "sriov1"
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           Port "sriov1"
               Interface "sriov1"
                   type: internal
           Port "phy-sriov1"
               Interface "phy-sriov1"
                   type: patch
                   options: {peer="int-sriov1"}
       Bridge br-tun
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           Port br-tun
               Interface br-tun
                   type: internal
           Port patch-int
               Interface patch-int
                   type: patch
                   options: {peer=patch-tun}
           Port "vxlan-0a0a7315"
               Interface "vxlan-0a0a7315"
                   type: vxlan
                   options: {df_default="true", in_key=flow, local_ip="10.10.115.10", out_key=flow, remote_ip="10.10.115.21"}
       ovs_version: "2.10.0"

流程

1. 根据 Compute 角色，为 OVS 硬件卸载生成 overcloud 角色：

   openstack overcloud roles generate -o roles_data.yaml Controller Compute:ComputeOvsHwOffload

2. 可选：更改 HostnameFormatDefault: '%stackname%-compute-%index%' 名称作为 ComputeOvsHwOffload 角色。
3. 将 OvsHwOffload 参数添加到特定于角色的参数下，值为 true。
4. 要将 neutron 配置为使用 iptables/hybrid 防火墙驱动程序实现，请包括： NeutronOVSFirewallDriver: iptables_hybrid。有关 NeutronOVSFirewallDriver 的更多信息，请参阅高级 Overcloud 自定义指南中的 使用 Open vSwitch 防火墙。

5. 配置 physical_network 参数以匹配您的环境。

   • 对于 VLAN，请在部署后将 physical_network 参数设置为您在 neutron 中创建的网络名称。此值也应位于 NeutronBridgeMappings 中。

   • 对于 VXLAN，将 physical_network 参数设置为 null。

     例如：

     parameter_defaults:
       NeutronOVSFirewallDriver: iptables_hybrid
       ComputeSriovParameters:
         IsolCpusList: 2-9,21-29,11-19,31-39
         KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=128 intel_iommu=on iommu=pt"
         OvsHwOffload: true
         TunedProfileName: "cpu-partitioning"
         NeutronBridgeMappings:
           - tenant:br-tenant
         NovaPCIPassthrough:
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "tenant"
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "null"
         NovaReservedHostMemory: 4096
         NovaComputeCpuDedicatedSet: 1-9,21-29,11-19,31-39

   • 将 <vendor-id > 替换为物理 NIC 的供应商 ID。
   • 将 <product-id > 替换为 NIC VF 的产品 ID。

   • 将 < address> 替换为物理 NIC 的地址。

     有关如何配置 NovaPCIPassthrough 的更多信息，请参阅有关 配置 NovaPCIPassthrough的指南。

6. 确保默认过滤器列表包含 NUMATopologyFilter ：

     NovaSchedulerDefaultFilters: [\'AvailabilityZoneFilter',\'ComputeFilter',\'ComputeCapabilitiesFilter',\'ImagePropertiesFilter',\'ServerGroupAntiAffinityFilter',\'ServerGroupAffinityFilter',\'PciPassthroughFilter',\'NUMATopologyFilter']

7. 在 compute-sriov.yaml 配置文件中配置用于硬件卸载的一个或多个网络接口：

     - type: ovs_bridge
       name: br-tenant
       mtu: 9000
       members:
       - type: sriov_pf
         name: p7p1
         numvfs: 5
         mtu: 9000
         primary: true
         promisc: true
         use_dhcp: false
         link_mode: switchdev

   注意
   • 在配置 Open vSwitch 硬件卸载时，不要使用 NeutronSriovNumVFs 参数。虚拟功能的数量使用 os-net-config 使用的网络配置文件中的 numvfs 参数指定。红帽不支持在更新或重新部署过程中修改 numvfs 设置。
   • 不要将 Mellanox 网络接口配置为 nic-config 接口类型 ovs-vlan，因为这会阻止 VXLAN 等隧道端点会因为驱动程序限制而传递流量。

8. 在 overcloud deploy 命令中包含 ovs-hw-offload.yaml 文件：

   TEMPLATES_HOME=”/usr/share/openstack-tripleo-heat-templates”
   CUSTOM_TEMPLATES=”/home/stack/templates”
   
   openstack overcloud deploy --templates \
     -r ${CUSTOM_TEMPLATES}/roles_data.yaml \
     -e ${TEMPLATES_HOME}/environments/ovs-hw-offload.yaml \
     -e ${CUSTOM_TEMPLATES}/network-environment.yaml \
     -e ${CUSTOM_TEMPLATES}/neutron-ovs.yaml

流程

1. 要从启用了 switchdev-enabled NIC 分配端口，请创建一个 neutron 端口，其 绑定 配置集为 capabilities，并禁用端口安全性：

   $ openstack port create --network private --vnic-type=direct --binding-profile '{"capabilities": ["switchdev"]}' direct_port1 --disable-port-security

流程

1. 使用 director 在 OVS 上应用以下配置：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

2. 重启 以启用 HW Offload。

流程

1. 应用以下配置。如果您没有显式配置 tc-policy，则这个选项：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:tc-policy=none

2. 重启 OVS。

流程

1. 在部署期间，使用主机网络配置工具 os-net-config 启用 hw-tc-offload。
2. 在重启 Compute 节点时，在 sriov_config 服务中启用 hw-tc-offload。

3. 对于附加到绑定的 NIC，将 hw-tc-offload 参数设置为 on。

   [root@overcloud-computesriov-0 ~]# ethtool -k ens1f0 | grep tc-offload
   hw-tc-offload: on

流程

1. 将用于 HW 卸载接口的 eswitch 模式设置为 switchdev。
2. 使用主机网络配置工具 os-net-config 在部署期间启用 eswitch。

3. 在您重新引导 Compute 节点时，在 sriov_config 服务中启用 eswitch。

   [root@overcloud-computesriov-0 ~]# devlink dev eswitch show pci/$(ethtool -i ens1f0 | grep bus-info | cut -d ':' -f 2,3,4 | awk '{$1=$1};1')

流程

1. 要获取 Broadcom 芯片表内容，请使用 bcmcmd 命令。

   root@dni-7448-26:~# cl-bcmcmd l2 show
   
   mac=00:02:00:00:00:08 vlan=2000 GPORT=0x2 modid=0 port=2/xe1
   mac=00:02:00:00:00:09 vlan=2000 GPORT=0x2 modid=0 port=2/xe1 Hit

2. 检查流量控制(TC)层。

   # tc -s filter show dev p5p1_1 ingress
   …
   filter block 94 protocol ip pref 3 flower chain 5
   filter block 94 protocol ip pref 3 flower chain 5 handle 0x2
     eth_type ipv4
     src_ip 172.0.0.1
     ip_flags nofrag
     in_hw in_hw_count 1
           action order 1: mirred (Egress Redirect to device eth4) stolen
           index 3 ref 1 bind 1 installed 364 sec used 0 sec
           Action statistics:
           Sent 253991716224 bytes 169534118 pkt (dropped 0, overlimits 0 requeues 0)
           Sent software 43711874200 bytes 30161170 pkt
           Sent hardware 210279842024 bytes 139372948 pkt
           backlog 0b 0p requeues 0
           cookie 8beddad9a0430f0457e7e78db6e0af48
           no_percpu

3. 检查 in_hw 标志以及此输出中的统计信息。术语 硬件 表示硬件处理网络流量。如果使用 tc-policy=none，您可以检查此输出，或者在硬件或软件处理数据包时进行调查。当驱动程序无法卸载数据包时，您可以在 dmesg 中看到对应的日志消息，或者在 ovs-vswitch.log 中看到相应的日志消息。

4. 例如，Mlanox 中的日志条目与 dmesg 中的 syndrome 信息类似。

   [13232.860484] mlx5_core 0000:3b:00.0: mlx5_cmd_check:756:(pid 131368): SET_FLOW_TABLE_ENTRY(0x936) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0x6b1266)

   在本例中，错误代码(0x6b1266)代表以下行为：

   0x6B1266 |  set_flow_table_entry: pop vlan and forward to uplink is not allowed

流程

1. 确保系统上已启用 SR-IOV 和 VT-d。
2. 通过在内核参数中添加 intel_iommu=on 在 Linux 中启用 IOMMU，例如使用 GRUB。

流程

1. 要在卸载模块上启用日志记录，并为这个失败获取额外的日志信息，请在 Compute 节点上使用以下命令：

   ovs-appctl vlog/set dpif_netlink:file:dbg
   # Module name changed recently (check based on the version used
   ovs-appctl vlog/set netdev_tc_offloads:file:dbg [OR] ovs-appctl vlog/set netdev_offload_tc:file:dbg
   ovs-appctl vlog/set tc:file:dbg

2. 再次检查 ovs-vswitchd 日志，以查看有关此问题的更多详情。

   在以下示例中，因为不支持的属性标记，卸载会失败。

    2020-01-31T06:22:11.218Z|00471|dpif_netlink(handler402)|DBG|system@ovs-system: put[create] ufid:61bd016e-eb89-44fc-a17e-958bc8e45fda recirc_id(0),dp_hash(0/0),skb_priority(0/0),in_port(7),skb_mark(0),ct_state(0/0),ct_zone(0/0),ct_mark(0/0),ct_label(0/0),eth(src=fa:16:3e:d2:f5:f3,dst=fa:16:3e:c4:a3:eb),eth_type(0x0800),ipv4(src=10.1.1.8/0.0.0.0,dst=10.1.1.31/0.0.0.0,proto=1/0,tos=0/0x3,ttl=64/0,frag=no),icmp(type=0/0,code=0/0), actions:set(tunnel(tun_id=0x3d,src=10.10.141.107,dst=10.10.141.124,ttl=64,tp_dst=4789,flags(df|key))),6
   
   2020-01-31T06:22:11.253Z|00472|netdev_tc_offloads(handler402)|DBG|offloading attribute pkt_mark isn't supported
   
   2020-01-31T06:22:11.257Z|00473|dpif_netlink(handler402)|ERR|failed to offload flow: Operation not supported: p6p1_5

1. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   提示

   您可以通过在类别中添加额外的 spec hw:pci_numa_affinity_policy，为 PCI 透传设备和 SR-IOV 接口指定 NUMA 关联性策略。如需更多信息，请参阅 为实例创建指南中的配置计算服务中的 类别元数据。

2. 创建网络。

   # openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   # openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

3. 创建端口。

   • 使用 vnic-type direct 创建 SR-IOV 虚拟功能(VF)端口。

     # openstack port create --network net1 --vnic-type direct sriov_port

   • 使用以下命令创建带有硬件卸载的虚拟功能。

     # openstack port create --network net1 --vnic-type direct --binding-profile '{"capabilities": ["switchdev"]} sriov_hwoffload_port

   • 使用 vnic-type 直接物理 创建专用于单个实例的 SR-IOV 物理功能(PF)端口。此 PF 端口是一个 Networking 服务(neutron)端口，但不由网络服务控制，而且不作为网络适配器可见，因为它是传递给实例的 PCI 设备。

     # openstack port create --network net1 --vnic-type direct-physical sriov_port

4. 部署实例。

   # openstack server create --flavor <flavor> --image <image> --nic port-id=<id> <instance name>

1. 您可以通过部署模板中的 heat 参数 NovaSchedulerDefaultFilters（在 parameter_defaults in your deployment templates. 下），配置 AggregateInstanceExtraSpecsFilter 值和其他必要的过滤。

     parameter_defaults:
       NovaSchedulerDefaultFilters: ['AggregateInstanceExtraSpecsFilter','AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','NUMATopologyFilter']

   注意

   要在退出集群的配置中添加此参数，可以将其添加到 heat 模板中，然后再次运行原始部署脚本。

2. 为 SR-IOV 创建聚合组，并添加相关主机。定义与定义的类别元数据匹配的 metadata，如 sriov=true。

   # openstack aggregate create sriov_group
   # openstack aggregate add host sriov_group compute-sriov-0.localdomain
   # openstack aggregate set --property sriov=true sriov_group

3. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

4. 设置其他类别属性。请注意，定义的元数据 sriov=true 与 SR-IOV 聚合上定义的元数据匹配。

   # openstack flavor set --property sriov=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB <flavor>

1. 将 usr/share/openstack-tripleo-heat-templates/plan-samples/plan-environment-derived-params.yaml 文件复制到一个本地目录，再设置输入参数以适合您的环境。

     workflow_parameters:
       tripleo.derive_params.v1.derive_parameters:
         # DPDK Parameters #
         # Specifies the minimum number of CPU physical cores to be allocated for DPDK
         # PMD threads. The actual allocation will be based on network config, if
         # the a DPDK port is associated with a numa node, then this configuration
         # will be used, else 1.
         num_phy_cores_per_numa_node_for_pmd: 1
         # Amount of memory to be configured as huge pages in percentage. Ouf the
         # total available memory (excluding the NovaReservedHostMemory), the
         # specified percentage of the remaining is configured as huge pages.
         huge_page_allocation_percentage: 50

2. 运行 openstack overcloud deploy 命令并包括以下信息：

   • update-plan-only 选项
   • 特定于您的环境的角色文件和所有环境文件

   • plan-environment-derived-parms.yaml 文件，使用 --plan-environment-file 可选参数

     $ openstack overcloud deploy --templates --update-plan-only \
     -r /home/stack/roles_data.yaml \
     -e /home/stack/<environment-file> \
     ... _#repeat as necessary_ ...
     **-p /home/stack/plan-environment-derived-params.yaml**

1. 将派生的参数从 deploy 命令输出中复制到 network-environment.yaml 文件。

     # DPDK compute node.
     ComputeOvsDpdkParameters:
       KernelArgs: default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "1,2,3,4,5,6,7,9,10,17,18,19,20,21,22,23,11,12,13,14,15,25,26,27,28,29,30,31"
       NovaComputeCpuDedicatedSet: ['2,3,4,5,6,7,18,19,20,21,22,23,10,11,12,13,14,15,26,27,28,29,30,31']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "1024,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "1,17,9,25"

   注意

   这些参数应用到特定的角色 ComputeOvsDpdk。您可以在全局范围内应用这些参数，但特定于角色的参数覆盖任何全局参数。

2. 使用角色文件以及特定于您的环境的所有环境文件，部署 overcloud。

1. 在 network-environment.yaml 文件中设置 NeutronGlobalPhysnetMtu 参数。

   parameter_defaults:
     # MTU global configuration
     NeutronGlobalPhysnetMtu: 9000

   注意

   确保 network-environment.yaml 文件中的 OvsDpdkSocketMemory 值足够大，以支持巨型帧。详情请查看 第 7.4.2 节 “内存参数”。

2. 将网桥上的 MTU 值设置为 controller.yaml 文件中的 Compute 节点。

     -
       type: ovs_bridge
       name: br-link0
       use_dhcp: false
       members:
         -
           type: interface
           name: nic3
           mtu: 9000

3. 在 compute.yaml 文件中为 OVS-DPDK 绑定设置 MTU 值：

   - type: ovs_user_bridge
     name: br-link0
     use_dhcp: false
     members:
       - type: ovs_dpdk_bond
         name: dpdkbond0
         mtu: 9000
         rx_queue: 2
         members:
           - type: ovs_dpdk_port
             name: dpdk0
             mtu: 9000
             members:
               - type: interface
                 name: nic4
           - type: ovs_dpdk_port
             name: dpdk1
             mtu: 9000
             members:
               - type: interface
                 name: nic5

1. 创建聚合组，并为 OVS-DPDK 添加相关主机。定义与定义的类别元数据匹配的元数据，如 dpdk=true。

    # openstack aggregate create dpdk_group
    # openstack aggregate add host dpdk_group [compute-host]
    # openstack aggregate set --property dpdk=true dpdk_group

   注意

   固定 CPU 实例可以位于与未固定实例相同的 Compute 节点上。如需更多信息，请参阅配置实例创建指南中的在 Compute 节点上配置 CPU 固定。

2. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

3. 设置类别属性。请注意，定义的元数据 dpdk=true 与 DPDK 聚合中定义的元数据匹配。

   # openstack flavor set <flavor> --property dpdk=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB --property hw:emulator_threads_policy=isolate

   有关性能改进的仿真程序线程策略的详情，请参阅配置仿真程序线程。

4. 创建网络。

   # openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   # openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

5. 可选：如果您将多队列用于 OVS-DPDK，请在要用于创建实例的镜像上设置 hw_vif_multiqueue_enabled 属性：

   # openstack image set --property hw_vif_multiqueue_enabled=true <image>

6. 部署实例。

   # openstack server create --flavor <flavor> --image <glance image> --nic net-id=<network ID> <server_name>

1. 检查网桥配置，并确认网桥具有 datapath_type=netdev。

   # ovs-vsctl list bridge br0
   _uuid               : bdce0825-e263-4d15-b256-f01222df96f3
   auto_attach         : []
   controller          : []
   datapath_id         : "00002608cebd154d"
   datapath_type       : netdev
   datapath_version    : "<built-in>"
   external_ids        : {}
   fail_mode           : []
   flood_vlans         : []
   flow_tables         : {}
   ipfix               : []
   mcast_snooping_enable: false
   mirrors             : []
   name                : "br0"
   netflow             : []
   other_config        : {}
   ports               : [52725b91-de7f-41e7-bb49-3b7e50354138]
   protocols           : []
   rstp_enable         : false
   rstp_status         : {}
   sflow               : []
   status              : {}
   stp_enable          : false

2. 另外，您可以查看错误的日志，如容器无法启动。

   # less /var/log/containers/neutron/openvswitch-agent.log

3. 确认 ovs-dpdk 的 Poll Mode Driver CPU 掩码固定到 CPU。如果出现超线程，请使用同级 CPU。

   例如，要检查 CPU4 的同级，请运行以下命令：

   # cat /sys/devices/system/cpu/cpu4/topology/thread_siblings_list
   4,20

   CPU4 的同级是 CPU20，因此使用以下命令：

   # ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x100010

   显示状态：

   # tuna -t ovs-vswitchd -CP
   thread  ctxt_switches pid SCHED_ rtpri affinity voluntary nonvoluntary       cmd
   3161	OTHER 	0    	6	765023      	614	ovs-vswitchd
   3219   OTHER 	0    	6     	1        	0   	handler24
   3220   OTHER 	0    	6     	1        	0   	handler21
   3221   OTHER 	0    	6     	1        	0   	handler22
   3222   OTHER 	0    	6     	1        	0   	handler23
   3223   OTHER 	0    	6     	1        	0   	handler25
   3224   OTHER 	0    	6     	1        	0   	handler26
   3225   OTHER 	0    	6     	1        	0   	handler27
   3226   OTHER 	0    	6     	1        	0   	handler28
   3227   OTHER 	0    	6     	2        	0   	handler31
   3228   OTHER 	0    	6     	2        	4   	handler30
   3229   OTHER 	0    	6     	2        	5   	handler32
   3230   OTHER 	0    	6	953538      	431   revalidator29
   3231   OTHER 	0    	6   1424258      	976   revalidator33
   3232   OTHER 	0    	6   1424693      	836   revalidator34
   3233   OTHER 	0    	6	951678      	503   revalidator36
   3234   OTHER 	0    	6   1425128      	498   revalidator35
   *3235   OTHER 	0    	4	151123       	51       	pmd37*
   *3236   OTHER 	0   	20	298967       	48       	pmd38*
   3164   OTHER 	0    	6 	47575        	0  dpdk_watchdog3
   3165   OTHER 	0    	6	237634        	0   vhost_thread1
   3166   OTHER 	0    	6  	3665        	0       	urcu2

1. 在 undercloud 上安装 ceph-ansible。

   $ sudo yum install ceph-ansible -y

2. 为 ComputeHCI 角色生成 roles_data.yaml 文件。

   $ openstack overcloud roles generate -o ~/<templates>/roles_data.yaml Controller \
    ComputeHCIOvsDpdk

3. 使用 openstack flavor create 和 openstack flavor set 命令创建和配置一个新类别。有关创建类别的更多信息，请参阅高级 Overcloud 自定义指南中的创建新角色。

4. 使用您生成的自定义 roles_data.yaml 文件部署 overcloud。

   # time openstack overcloud deploy --templates \
    --timeout 360 \
    -r ~/<templates>/roles_data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/services-docker/neutron-ovs-dpdk.yaml \
    -e ~/<templates>/<custom environment file>

1. 将 OVS-DPDK 的自定义资源添加到 resource_registry 下：

     resource_registry:
       # Specify the relative/absolute path to the config files you want to use for override the default.
       OS::TripleO::ComputeOvsDpdkSriov::Net::SoftwareConfig: nic-configs/computeovsdpdksriov.yaml
       OS::TripleO::Controller::Net::SoftwareConfig: nic-configs/controller.yaml

2. 在 parameter_defaults 下，将隧道类型设置为 vxlan，并将网络类型设置为 vxlan,vlan ：

   NeutronTunnelTypes: 'vxlan'
   NeutronNetworkType: 'vxlan,vlan'

3. 在 parameters_defaults 下，设置网桥映射：

   # The OVS logical->physical bridge mappings to use.
   NeutronBridgeMappings:
     - dpdk-mgmt:br-link0

4. 在 parameter_defaults 下，为 ComputeOvsDpdkSriov 角色设置特定于角色的参数：

     ##########################
     # OVS DPDK configuration #
     ##########################
     ComputeOvsDpdkSriovParameters:
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=2-19,22-39"
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "2-19,22-39"
       NovaComputeCpuDedicatedSet: ['4-19,24-39']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "3072,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "2,22,3,23"
       NovaComputeCpuSharedSet: [0,20,1,21]
       NovaLibvirtRxQueueSize: 1024
       NovaLibvirtTxQueueSize: 1024

   注意

   要防止创建客户机期间失败，请在每个 NUMA 节点上至少分配一个具有同级线程的 CPU。在示例中，OvsPmdCoreList 参数的值代表来自 NUMA 0 的核心 2 和 22，以及来自 NUMA 1 的核心 3 和 23。

   注意

   这些大页面由虚拟机消耗，以及使用 OvsDpdkSocketMemory 参数的 OVS-DPDK，如此流程所示。虚拟机的巨页数量是 引导参数 减去 OvsDpdkSocketMemory。

   您还必须将 hw:mem_page_size=1GB 添加到与 DPDK 实例关联的类别中。

   注意

   OvsDpdkMemoryChannels 是此流程所需的设置。要进行最佳操作，请确保您使用适当的参数和值部署 DPDK。

5. 为 SR-IOV 配置特定于角色的参数：

     NovaPCIPassthrough:
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.0"
         trusted: "true"
         physical_network: "sriov-1"
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.1"
         trusted: "true"
         physical_network: "sriov-2"

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic2
         primary: true

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageMgmtNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageMgmtIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: ExternalNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: ExternalIpSubnet
       routes:
       - default: true
         next_hop:
           get_param: ExternalInterfaceDefaultRoute

3. 创建 OVS 网桥，以访问 neutron-dhcp-agent 和 neutron-metadata-agent 服务。

     - type: ovs_bridge
       name: br-link0
       use_dhcp: false
       mtu: 9000
       members:
       - type: interface
         name: nic3
         mtu: 9000
       - type: vlan
         vlan_id:
           get_param: TenantNetworkVlanID
         mtu: 9000
         addresses:
         - ip_netmask:
             get_param: TenantIpSubnet

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic3
         primary: true
       - type: interface
         name: nic4

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet

3. 使用 DPDK 端口设置网桥以链接到控制器。

     - type: ovs_user_bridge
       name: br-link0
       use_dhcp: false
       ovs_extra:
         - str_replace:
             template: set port br-link0 tag=_VLAN_TAG_
             params:
               _VLAN_TAG_:
                  get_param: TenantNetworkVlanID
       addresses:
         - ip_netmask:
             get_param: TenantIpSubnet
       members:
         - type: ovs_dpdk_bond
           name: dpdkbond0
           mtu: 9000
           rx_queue: 2
           members:
             - type: ovs_dpdk_port
               name: dpdk0
               members:
                 - type: interface
                   name: nic7
             - type: ovs_dpdk_port
               name: dpdk1
               members:
                 - type: interface
                   name: nic8

   注意

   要包含多个 DPDK 设备，请为您要添加的每个 DPDK 设备重复 类型 代码部分。

   注意

   在使用 OVS-DPDK 时，同一 Compute 节点上的所有网桥都必须是 ovs_user_bridge 类型。红帽 OpenStack 平台不支持同一节点上的 ovs_bridge 和 ovs_user_bridge。

1. 运行 overcloud_deploy.sh 脚本：