网络功能虚拟化规划和配置指南

流程

1. 在 RHOSP 部署中登录到具有您要配置的 Mellanox NIC 的 Compute 节点。

2. 使用 mstflint 程序查询 ESWITCH_IPV4_TTL_MODIFY_ENABLE Mellanox 固件参数。

   [root@compute-1 ~]# yum install -y mstflint
   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> q ESWITCH_IPV4_TTL_MODIFY_ENABLE

3. 如果 ESWITCH_IPV4_TTL_MODIFY_ENABLE 参数已启用并设置为 1，则将值设为 0 来禁用它。

   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> s ESWITCH_IPV4_TTL_MODIFY_ENABLE=0`

4. 重新引导节点。

流程

1. 使用 Content Delivery Network 注册您的系统，在提示时输入您的客户门户网站用户名和密码。

   [stack@director ~]$ sudo subscription-manager register

2. 确定 Red Hat OpenStack Platform director 的权利池 ID，如以下命令中的 {Pool ID} 和输出：

   [stack@director ~]$ sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
   Subscription Name:   Name of SKU
   Provides:            Red Hat Single Sign-On
                        Red Hat Enterprise Linux Workstation
                        Red Hat CloudForms
                        Red Hat OpenStack
                        Red Hat Software Collections (for RHEL Workstation)
   SKU:                 SKU-Number
   Contract:            Contract-Number
   Pool ID:             {Pool-ID}-123456
   Provides Management: Yes
   Available:           1
   Suggested:           1
   Service Level:       Support-level
   Service Type:        Service-Type
   Subscription Type:   Sub-type
   Ends:                End-date
   System Type:         Physical

3. 在以下命令中包括 池 ID 值来附加 Red Hat OpenStack Platform 16.2 权利。

   [stack@director ~]$ sudo subscription-manager attach --pool={Pool-ID}-123456

4. 禁用默认软件仓库。

   subscription-manager repos --disable=*

5. 使用 NFV 启用 Red Hat OpenStack Platform 所需的软件仓库。

   $ sudo subscription-manager repos \
   --enable=rhel-8-for-x86_64-baseos-eus-rpms \
   --enable=rhel-8-for-x86_64-appstream-eus-rpms \
   --enable=rhel-8-for-x86_64-highavailability-eus-rpms \
   --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
   --enable=openstack-16.2-for-rhel-8-x86_64-rpms \
   --enable=rhel-8-for-x86_64-nfv-rpms \
   --enable=fast-datapath-for-rhel-8-x86_64-rpms

6. 更新您的系统，以便您拥有最新的基本系统软件包。

   [stack@director ~]$ sudo dnf update -y
   [stack@director ~]$ sudo reboot

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data_compute_sriov.yaml 的新角色数据文件，其中包含 Controller 和 ComputeSriov 角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_compute_sriov.yaml \
    Controller ComputeSriov

   ComputeSriov 是 RHOSP 安装提供的自定义角色，除了默认的计算服务外，还包括 NeutronSriovAgent 和 NeutronSriovHostConfig 服务。

4. 要准备 SR-IOV 容器，请在生成 overcloud_images.yaml 文件时包括 neutron-sriov.yaml 和 roles_data_compute_sriov.yaml 文件。

   $ sudo openstack tripleo container image prepare \
     --roles-file ~/templates/roles_data_compute_sriov.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/services/neutron-sriov.yaml \
     -e ~/containers-prepare-parameter.yaml \
     --output-env-file=/home/stack/templates/overcloud_images.yaml

   如需有关 容器镜像准备 的更多信息，请参阅 Director 安装和使用指南中的准备容器镜像。

5. 在环境文件目录中，创建 /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml 文件的副本：

   $ cp /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml /home/stack/templates/network-environment-sriov.yaml

6. 在您的 network-environment-sriov.yaml 文件的 parameter_defaults 下添加以下参数，为您的集群和硬件配置 SR-IOV 节点：

     NeutronNetworkType: 'vlan'
     NeutronNetworkVLANRanges:
       - tenant:22:22
       - tenant:25:25
     NeutronTunnelTypes: ''

7. 要确定每个 PCI 设备类型的 vendor_id 和 product_id，请在具有 PCI 卡的物理服务器中使用以下命令之一：

   • 要从部署的 overcloud 返回 vendor_id 和 product_id，请使用以下命令：

     # lspci -nn -s  <pci_device_address>
     3b:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ [<vendor_id>: <product_id>] (rev 02)

   • 如果您尚未部署 overcloud，返回 vendor_id 和 product_id (PF)，请使用以下命令：

     (undercloud) [stack@undercloud-0 ~]$ openstack baremetal introspection data save <baremetal_node_name> | jq '.inventory.interfaces[] | .name, .vendor, .product'

8. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置角色特定参数：

     ComputeSriovParameters:
       IsolCpusList: "1-19,21-39"
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=1-19,21-39"
       TunedProfileName: "cpu-partitioning"
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysicalDevMappings:
         - tenant:p7p1
       NovaComputeCpuDedicatedSet: '1-19,21-39'
       NovaReservedHostMemory: 4096

   注意

   NovaVcpuPinSet 参数现已弃用，并被用于专用固定工作负载的 NovaComputeCpuDedicatedSet 替代。

9. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置 PCI 透传设备：

     ComputeSriovParameters:
       ...
       NovaPCIPassthrough:
         - vendor_id: "<vendor_id>"
           product_id: "<product_id>"
           address: <NIC_address>
           physical_network: "<physical_network>"
       ...

   • 将 <vendor_id > 替换为 PCI 设备的厂商 ID。
   • 将 <product_id > 替换为 PCI 设备的产品 ID。
   • 将 <NIC_address > 替换为 PCI 设备的地址。有关如何配置 address 参数的详情，请参考 为实例创建配置计算服务指南中的 配置 NovaPCIPassthrough。

   • 使用 PCI 设备所在的物理网络的名称替换 <physical_network>。

     注意

     在配置 PCI 透传时不要使用 devname 参数，因为 NIC 的设备名称可能会改变。要在 PF 上创建 Networking 服务(neutron)端口，请指定 vendor_id、product_id 以及 NovaPCIPassthrough 中的 PCI 设备地址，并使用 --vnic-type direct-physical 选项创建端口。要在虚拟功能(VF)上创建网络服务端口，在 NovaPCIPassthrough 中指定 vendor_id 和 product_id，并使用 --vnic-type direct 选项创建端口。vendor_id 和 product_id 参数的值可能在物理功能(PF)和 VF 上下文之间不同。有关如何配置 NovaPCIPassthrough 的更多信息，请参阅 为实例创建配置计算服务指南中的 配置 NovaPCIPassthrough 的指南。

10. 在 compute.yaml 网络配置模板中配置启用了 SR-IOV 的接口。要创建 SR-IOV VF，将接口配置为独立 NIC：

                 - type: sriov_pf
                    name: p7p3
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false
    
                  - type: sriov_pf
                    name: p7p4
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false

    注意

    numvfs 参数取代了网络配置 模板中的 NeutronSriovNum VFs 参数。红帽不支持在部署后修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任一参数，这可能会给该 PF 上带有 SR-IOV 端口的运行实例造成中断。在这种情况下，您必须硬重启这些实例，以便 SR-IOV PCI 设备再次可用。

11. 确保默认过滤器列表包含 AggregateInstanceExtraSpecsFilter 的值：

    NovaSchedulerDefaultFilters:
    ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','Serve
    rGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','AggregateInstanceExt
    raSpecsFilter']

12. 运行 overcloud_deploy.sh 脚本。

流程

1. 为您选择的角色打开 NIC 配置文件。

2. 为接口类型 sriov_pf 添加一个条目，以配置主机可使用的物理功能：

           - type: sriov_pf
               name: <interface_name>
               use_dhcp: false
               numvfs: <number_of_vfs>
               promisc: <true/false>

   • 将 <interface_name > 替换为接口名称。
   • 将 <number_of_vfs > 替换为 VF 的数量。
   • 可选：将 <true/false> 替换为 true 来设置 promiscuous 模式，设置为 false 来禁用 promiscuous 模式。默认值为 true。
   注意

   numvfs 参数取代了网络配置 模板中的 NeutronSriovNum VFs 参数。红帽不支持在部署后修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任一参数，这可能会给该物理功能(PF)上运行 SR-IOV 端口的正在运行的实例造成中断。在这种情况下，您必须硬重启这些实例，以便 SR-IOV PCI 设备再次可用。

3. 为接口类型 sriov_vf 添加条目，以配置主机可以使用的虚拟功能：

    - type: <bond_type>
      name: internal_bond
      bonding_options: mode=<bonding_option>
      use_dhcp: false
      members:
      - type: sriov_vf
          device: <pf_device_name>
          vfid: <vf_id>
      - type: sriov_vf
          device:  <pf_device_name>
          vfid: <vf_id>
   
    - type: vlan
      vlan_id:
        get_param: InternalApiNetworkVlanID
      spoofcheck: false
      device: internal_bond
      addresses:
      - ip_netmask:
          get_param: InternalApiIpSubnet
      routes:
        list_concat_unique:
        - get_param: InternalApiInterfaceRoutes

   • 将 <bond_type > 替换为所需的绑定类型，如 linux_bond。您可以在绑定中为其他绑定应用 VLAN 标签，如 ovs_bond。

   • 将 <bonding_option > 替换为以下支持的绑定模式之一：

     • active-backup

     • balance-slb

       注意

       不支持 LACP 绑定。

   • 在 members 部分中，指定 sriov_vf 作为绑定的接口类型。

     注意

     如果您使用 OVS 网桥作为接口类型，则只能在 sriov_pf 设备的 sriov_vf 上配置一个 OVS 网桥。单个 sriov_pf 设备中的多个 OVS 网桥可能会导致 VF 间的数据包重复，并降低性能。

   • 将 <pf_device_name > 替换为 PF 设备的名称。
   • 如果使用 linux_bond，则必须分配 VLAN 标签。如果设置了 VLAN 标签，请确保为与单个 sriov_pf 设备关联的每个 VF 设置唯一标签。同一 VLAN 上不能有两个来自同一 PF 的 VF。
   • 将 <vf_id > 替换为 VF 的 ID。适用的 VF ID 范围从零开始，并以最大 VF 数结束。
   • 禁用欺骗检查。
   • 在 sriov_vf 上为 VF 上的 linux_bond 应用 VLAN 标签。

4. 要为实例保留 VF，请在环境文件中包括 NovaPCIPassthrough 参数，例如：

   NovaPCIPassthrough:
    - address: "0000:19:0e.3"
      trusted: "true"
      physical_network: "sriov1"
    - address: "0000:19:0e.0"
      trusted: "true"
      physical_network: "sriov2"

   director 识别主机 VF，并生成可供实例使用的 VF 的 PCI 地址。

5. 在所有需要 NIC 分区的节点中启用 IOMMU。例如，如果要对 Compute 节点进行 NIC 分区，请使用该角色的 KernelArgs 参数启用 IOMMU：

   parameter_defaults:
     ComputeParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

   注意

   当您首次在角色配置中添加 KernelArgs 参数时，overcloud 节点会自动重启。如果需要，您可以禁用自动重新引导节点，然后在每个 overcloud 部署后手动执行节点重启。

   如需更多信息，请参阅配置 实例创建指南中的配置 手动节点重新引导以定义 KernelArgs。

6. 使用其他环境文件将角色文件和环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -r os-net-config.yaml
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

验证

1. 以 heat-admin 用户身份登录 overcloud Compute 节点，并检查 VF 的数量：

   [heat-admin@overcloud-compute-0 heat-admin]$ sudo cat /sys/class/net/p4p1/device/sriov_numvfs
   10
   [heat-admin@overcloud-compute-0 heat-admin]$ sudo cat /sys/class/net/p4p2/device/sriov_numvfs
   10

2. 显示 OVS 连接：

   [heat-admin@overcloud-compute-0]$ sudo ovs-vsctl show
   b6567fa8-c9ec-4247-9a08-cbf34f04c85f
       Manager "ptcp:6640:127.0.0.1"
           is_connected: true
       Bridge br-sriov2
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov2
               Interface phy-br-sriov2
                   type: patch
                   options: {peer=int-br-sriov2}
           Port br-sriov2
               Interface br-sriov2
                   type: internal
       Bridge br-sriov1
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov1
               Interface phy-br-sriov1
                   type: patch
                   options: {peer=int-br-sriov1}
           Port br-sriov1
               Interface br-sriov1
                   type: internal
       Bridge br-ex
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-ex
               Interface br-ex
                   type: internal
           Port phy-br-ex
               Interface phy-br-ex
                   type: patch
                   options: {peer=int-br-ex}
       Bridge br-tenant
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-tenant
               tag: 305
               Interface br-tenant
                   type: internal
           Port phy-br-tenant
               Interface phy-br-tenant
                   type: patch
                   options: {peer=int-br-tenant}
           Port dpdkbond0
               Interface dpdk0
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0e.0"}
               Interface dpdk1
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0a.0"}
       Bridge br-tun
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port vxlan-98140025
               Interface vxlan-98140025
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.37"}
           Port br-tun
               Interface br-tun
                   type: internal
           Port patch-int
               Interface patch-int
                   type: patch
                   options: {peer=patch-tun}
           Port vxlan-98140015
               Interface vxlan-98140015
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.21"}
           Port vxlan-9814009f
               Interface vxlan-9814009f
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.159"}
           Port vxlan-981400cc
               Interface vxlan-981400cc
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.204"}
       Bridge br-int
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port int-br-tenant
               Interface int-br-tenant
                   type: patch
                   options: {peer=phy-br-tenant}
           Port int-br-ex
               Interface int-br-ex
                   type: patch
                   options: {peer=phy-br-ex}
           Port int-br-sriov1
               Interface int-br-sriov1
                   type: patch
                   options: {peer=phy-br-sriov1}
           Port patch-tun
               Interface patch-tun
                   type: patch
                   options: {peer=patch-int}
           Port br-int
               Interface br-int
                   type: internal
           Port int-br-sriov2
               Interface int-br-sriov2
                   type: patch
                   options: {peer=phy-br-sriov2}
           Port vhu4142a221-93
               tag: 1
               Interface vhu4142a221-93
                   type: dpdkvhostuserclient
                   options: {vhost-server-path="/var/lib/vhost_sockets/vhu4142a221-93"}
       ovs_version: "2.13.2"

3. 以 heat-admin 用户身份登录 OVS-DPDK SR-IOV Compute 节点并检查 Linux 绑定：

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]$ cat /proc/net/bonding/<bond_name>
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: None
   Currently Active Slave: eno3v1
   MII Status: up
   MII Polling Interval (ms): 0
   Up Delay (ms): 0
   Down Delay (ms): 0
   Peer Notification Delay (ms): 0
   
   Slave Interface: eno3v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4e:77:94:bd:38:d2
   Slave queue ID: 0
   
   Slave Interface: eno4v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4a:74:52:a7:aa:7c
   Slave queue ID: 0

4. 列出 OVS 绑定：

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]$ sudo ovs-appctl bond/show
   ---- dpdkbond0 ----
   bond_mode: balance-slb
   bond may use recirculation: no, Recirc-ID : -1
   bond-hash-basis: 0
   updelay: 0 ms
   downdelay: 0 ms
   next rebalance: 9491 ms
   lacp_status: off
   lacp_fallback_ab: false
   active slave mac: ce:ee:c7:58:8e:b2(dpdk1)
   
   slave dpdk0: enabled
     may_enable: true
   
   slave dpdk1: enabled
     active slave
     may_enable: true

流程

1. 为基于 Compute 角色的 OVS 硬件卸载生成 overcloud 角色：

   openstack overcloud roles generate -o roles_data.yaml \
   Controller Compute:ComputeOvsHwOffload

2. 可选：更改 HostnameFormatDefault: '%stackname%-compute-%index%' 名称，用于 ComputeOvsHwOffload 角色。
3. 将 OvsHwOffload 参数添加到角色特定参数下，值设为 true。
4. 要将 neutron 配置为使用 iptables/hybrid 驱动实现，请包括： NeutronOVSFirewallDriver: iptables_hybrid。有关 NeutronOVSFirewallDriver 的更多信息，请参阅高级 Overcloud 自定义指南中的 使用 Open vSwitch 防火墙。

5. 配置 physical_network 参数以匹配您的环境。

   • 对于 VLAN，将 physical_network 参数设置为部署后您在 neutron 中创建的网络名称。这个值也应在 NeutronBridgeMappings 中。

   • 对于 VXLAN，将 physical_network 参数设置为 null。

     例如：

     parameter_defaults:
       NeutronOVSFirewallDriver: iptables_hybrid
       ComputeSriovParameters:
         IsolCpusList: 2-9,21-29,11-19,31-39
         KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=128 intel_iommu=on iommu=pt"
         OvsHwOffload: true
         TunedProfileName: "cpu-partitioning"
         NeutronBridgeMappings:
           - tenant:br-tenant
         NovaPCIPassthrough:
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "tenant"
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "null"
         NovaReservedHostMemory: 4096
         NovaComputeCpuDedicatedSet: 1-9,21-29,11-19,31-39

   • 将 <vendor-id > 替换为物理 NIC 的供应商 ID。
   • 将 <product-id > 替换为 NIC VF 的产品 ID。

   • 将 < address> 替换为物理 NIC 的地址。

     有关如何配置 NovaPCIPassthrough 的更多信息，请参阅 为实例创建配置计算服务指南中的 配置 NovaPCIPassthrough 的指南。

6. 确保默认过滤器列表包含 NUMATopologyFilter ：

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   注意

   可选：有关如何对带有 Mellanox ConnectX5 NIC 的 RHOSP 16.2 中的 OVS Hardware Offload 问题进行故障排除和配置 OVS Hardware Offload 的详情，请参阅 对 Hardware Offload 进行故障排除。

7. 在 compute-sriov.yaml 配置文件中配置用于硬件卸载的一个或多个网络接口：

     - type: ovs_bridge
       name: br-tenant
       mtu: 9000
       members:
       - type: sriov_pf
         name: p7p1
         numvfs: 5
         mtu: 9000
         primary: true
         promisc: true
         use_dhcp: false
         link_mode: switchdev

   注意
   • 在配置 Open vSwitch 硬件卸载时，不要使用 NeutronSriovNumVFs 参数。使用 os-net-config 使用的网络配置文件中的 numvfs 参数来指定虚拟功能的数量。红帽不支持在更新或重新部署过程中修改 numvfs 设置。
   • 不要将 Mellanox 网络接口配置为 nic-config 接口类型 ovs-vlan，因为这可防止 VXLAN 等隧道端点因为驱动程序限制而传递流量。

8. 在 overcloud deploy 命令中包含 ovs-hw-offload.yaml 文件：

   TEMPLATES_HOME=”/usr/share/openstack-tripleo-heat-templates”
   CUSTOM_TEMPLATES=”/home/stack/templates”
   
   openstack overcloud deploy --templates \
     -r ${CUSTOM_TEMPLATES}/roles_data.yaml \
     -e ${TEMPLATES_HOME}/environments/ovs-hw-offload.yaml \
     -e ${CUSTOM_TEMPLATES}/network-environment.yaml \
     -e ${CUSTOM_TEMPLATES}/neutron-ovs.yaml

验证

1. 确认 PCI 设备处于 switchdev 模式：

   # devlink dev eswitch show pci/0000:03:00.0
   pci/0000:03:00.0: mode switchdev inline-mode none encap enable

2. 验证 OVS 中是否启用了卸载：

   # ovs-vsctl get Open_vSwitch . other_config:hw-offload
   “true”

流程

1. 要从一个启用了 switchdev 的 NIC 中分配一个端口，以 admin 用户身份登录，创建一个带有值为 binding-profile 的 capabilities，并禁用端口安全性：

   $ openstack port create --network private --vnic-type=direct --binding-profile '{"capabilities": ["switchdev"]}' direct_port1 --disable-port-security

2. 在创建实例时传递此端口信息。

   您可以将代表器端口与实例 VF 接口关联，并将代表器端口连接到 OVS 网桥 br-int，以进行一次性 OVS 数据路径处理。VF 端口代表或类似物理"补丁面板"前端的软件版本。

   有关新实例创建的更多信息，请参阅为 SR-IOV 部署实例。

流程

1. 使用 director 在 OVS 上应用以下配置：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

2. 重新启动 以启用 HW Offload。

流程

1. 应用以下配置：如果您没有显式配置 tc-policy，则这是默认选项：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:tc-policy=none

2. 重启 OVS。

流程

1. 在部署过程中，使用主机网络配置工具 os-net-config 启用 hw-tc-offload。
2. 每当您重新引导 Compute 节点时，在 sriov_config 服务上启用 hw-tc-offload。

3. 将附加到绑定的 NIC 的 hw-tc-offload 参数设置为 on ：

   [root@overcloud-computesriov-0 ~]# ethtool -k ens1f0 | grep tc-offload
   hw-tc-offload: on

流程

1. 将 eswitch 模式设置为 switchdev 用于 HW 卸载的接口。
2. 使用主机网络配置工具 os-net-config 在部署期间启用 eswitch。

3. 每当您重新引导 Compute 节点时，在 sriov_config 服务中启用 eswitch。

   [root@overcloud-computesriov-0 ~]# devlink dev eswitch show pci/$(ethtool -i ens1f0 | grep bus-info | cut -d ':' -f 2,3,4 | awk '{$1=$1};1')

流程

1. 要获得 Broadcom 芯片表内容，请使用 bcmcmd 命令。

   root@dni-7448-26:~# cl-bcmcmd l2 show
   
   mac=00:02:00:00:00:08 vlan=2000 GPORT=0x2 modid=0 port=2/xe1
   mac=00:02:00:00:00:09 vlan=2000 GPORT=0x2 modid=0 port=2/xe1 Hit

2. 检查流量控制(TC)层。

   # tc -s filter show dev p5p1_1 ingress
   …
   filter block 94 protocol ip pref 3 flower chain 5
   filter block 94 protocol ip pref 3 flower chain 5 handle 0x2
     eth_type ipv4
     src_ip 172.0.0.1
     ip_flags nofrag
     in_hw in_hw_count 1
           action order 1: mirred (Egress Redirect to device eth4) stolen
           index 3 ref 1 bind 1 installed 364 sec used 0 sec
           Action statistics:
           Sent 253991716224 bytes 169534118 pkt (dropped 0, overlimits 0 requeues 0)
           Sent software 43711874200 bytes 30161170 pkt
           Sent hardware 210279842024 bytes 139372948 pkt
           backlog 0b 0p requeues 0
           cookie 8beddad9a0430f0457e7e78db6e0af48
           no_percpu

3. 检查此输出中的 in_hw 标志和统计数据。词语 硬件 表示硬件处理网络流量。如果使用 tc-policy=none，您可以检查此输出或 tcpdump 以调查硬件或软件处理数据包的时间。当驱动程序无法卸载数据包时，您可以在 dmesg 或 ovs-vswitch.log 中看到对应的日志消息。

4. 例如，在 Mellanox 中，日志条目与 dmesg 中的 syndrome 消息类似。

   [13232.860484] mlx5_core 0000:3b:00.0: mlx5_cmd_check:756:(pid 131368): SET_FLOW_TABLE_ENTRY(0x936) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0x6b1266)

   在本例中，错误代码(0x6b1266)代表以下行为：

   0x6B1266 |  set_flow_table_entry: pop vlan and forward to uplink is not allowed

流程

1. 确定系统上已启用 SR-IOV 和 VT-d。
2. 通过在内核参数中添加 intel_iommu=on 来启用 IOMMU，例如使用 GRUB。

流程

1. 要启用卸载模块的日志记录，并获取此故障的额外日志信息，请在 Compute 节点上使用以下命令：

   ovs-appctl vlog/set dpif_netlink:file:dbg
   # Module name changed recently (check based on the version used
   ovs-appctl vlog/set netdev_tc_offloads:file:dbg [OR] ovs-appctl vlog/set netdev_offload_tc:file:dbg
   ovs-appctl vlog/set tc:file:dbg

2. 再次检查 ovs-vswitchd 日志，以查看与该问题相关的其他详细信息。

   在以下示例中，因为不支持的属性标记，卸载会失败。

    2020-01-31T06:22:11.218Z|00471|dpif_netlink(handler402)|DBG|system@ovs-system: put[create] ufid:61bd016e-eb89-44fc-a17e-958bc8e45fda recirc_id(0),dp_hash(0/0),skb_priority(0/0),in_port(7),skb_mark(0),ct_state(0/0),ct_zone(0/0),ct_mark(0/0),ct_label(0/0),eth(src=fa:16:3e:d2:f5:f3,dst=fa:16:3e:c4:a3:eb),eth_type(0x0800),ipv4(src=10.1.1.8/0.0.0.0,dst=10.1.1.31/0.0.0.0,proto=1/0,tos=0/0x3,ttl=64/0,frag=no),icmp(type=0/0,code=0/0), actions:set(tunnel(tun_id=0x3d,src=10.10.141.107,dst=10.10.141.124,ttl=64,tp_dst=4789,flags(df|key))),6
   
   2020-01-31T06:22:11.253Z|00472|netdev_tc_offloads(handler402)|DBG|offloading attribute pkt_mark isn't supported
   
   2020-01-31T06:22:11.257Z|00473|dpif_netlink(handler402)|ERR|failed to offload flow: Operation not supported: p6p1_5

流程

1. 创建类别。

   $ openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   提示

   您可以通过在您的类别中添加额外 spec hw:pci_numa_affinity_policy 来为 PCI 透传设备和 SR-IOV 接口指定 NUMA 关联性策略。有关更多信息，请参阅配置实例创建 指南中的 类别服务元数据。

2. 创建 网络。

   $ openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   $ openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

3. 创建端口。

   • 使用 vnic-type direct 创建 SR-IOV 虚拟功能(VF)端口。

     $ openstack port create --network net1 --vnic-type direct sriov_port

   • 使用以下命令来创建带有硬件卸载的虚拟功能。您必须是一个 admin 用户来设置 --binding-profile。

     $ openstack port create --network net1 --vnic-type direct --binding-profile '{"capabilities": ["switchdev"]} sriov_hwoffload_port

   • 使用 vnic-type direct-physical 创建专用于单个实例的 SR-IOV 物理功能(PF)端口。这个 PF 端口是 Networking 服务(neutron)端口，但不由网络服务控制，不作为网络适配器可见，因为它是一个通过实例传递给实例的 PCI 设备。

     $ openstack port create --network net1 --vnic-type direct-physical sriov_port

4. 部署实例。

   $ openstack server create --flavor <flavor> --image <image> --nic port-id=<id> <instance name>

流程

1. 您可以通过部署模板中的 heat 参数 NovaSchedulerEnabledFilters（在 parameter_defaults in your deployment templates. 下），配置 AggregateInstanceExtraSpecsFilter 值和其他必要的过滤。

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AggregateInstanceExtraSpecsFilter
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   注意

   要将此参数添加到现有集群的配置中，您可以将其添加到 heat 模板，然后再次运行原始部署脚本。

2. 为 SR-IOV 创建聚合组，并添加相关主机。定义与定义的类别元数据匹配的元数据，如 sriov=true。

   # openstack aggregate create sriov_group
   # openstack aggregate add host sriov_group compute-sriov-0.localdomain
   # openstack aggregate set --property sriov=true sriov_group

3. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

4. 设置其他类别属性。请注意，定义的元数据 sriov=true 与 SR-IOV 聚合上的定义元数据匹配。

   # openstack flavor set --property sriov=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB <flavor>

1. 将 usr/share/openstack-tripleo-heat-templates/plan-environment-derived-params.yaml 文件复制到本地目录，并设置输入参数以适合您的环境。

     workflow_parameters:
       tripleo.derive_params.v1.derive_parameters:
         # DPDK Parameters #
         # Specifies the minimum number of CPU physical cores to be allocated for DPDK
         # PMD threads. The actual allocation will be based on network config, if
         # the a DPDK port is associated with a numa node, then this configuration
         # will be used, else 1.
         num_phy_cores_per_numa_node_for_pmd: 1
         # Amount of memory to be configured as huge pages in percentage. Ouf the
         # total available memory (excluding the NovaReservedHostMemory), the
         # specified percentage of the remaining is configured as huge pages.
         huge_page_allocation_percentage: 50

2. 运行 openstack overcloud deploy 命令并包含以下信息：

   • update-plan-only 选项
   • 角色文件和所有环境文件特定于您的环境

   • 带有 --plan-environment-file 可选参数的 plan-environment-derived-parms.yaml 文件

     $ openstack overcloud deploy --templates --update-plan-only \
     -r /home/stack/roles_data.yaml \
     -e /home/stack/<environment-file> \
     ... _#repeat as necessary_ ...
     **-p /home/stack/plan-environment-derived-params.yaml**

1. 将 deploy 命令输出中派生的参数复制到 network-environment.yaml 文件中。

     # DPDK compute node.
     ComputeOvsDpdkParameters:
       KernelArgs: default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "1,2,3,4,5,6,7,9,10,17,18,19,20,21,22,23,11,12,13,14,15,25,26,27,28,29,30,31"
       NovaComputeCpuDedicatedSet: ['2,3,4,5,6,7,18,19,20,21,22,23,10,11,12,13,14,15,26,27,28,29,30,31']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "1024,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "1,17,9,25"

   注意

   这些参数适用于特定的角色 ComputeOvsDpdk。您可以在全局范围内应用这些参数，但特定于角色的参数会覆盖任何全局参数。

2. 使用角色文件和特定于您的环境的所有环境文件来部署 overcloud。

1. 如果使用可组合角色，请复制和修改 roles_data.yaml 文件，以添加 OVS-DPDK 的自定义角色。
2. 更新适当的 network-environment.yaml 文件，使其包含内核参数和 DPDK 参数的参数。
3. 更新 compute.yaml 文件，使其包含 DPDK 接口参数的网桥。
4. 更新 controller.yaml 文件，使其包含 DPDK 接口参数的相同网桥详情。
5. 运行 overcloud_deploy.sh 脚本，以使用 DPDK 参数部署 overcloud。

1. 在 network-environment.yaml 文件中设置 NeutronGlobalPhysnetMtu 参数。

   parameter_defaults:
     # MTU global configuration
     NeutronGlobalPhysnetMtu: 9000

   注意

   确保 network-environment.yaml 文件中的 OvsDpdkSocketMemory 值足够大，以支持巨型帧。如需更多信息，请参阅 内存参数。

2. 将网桥上的 MTU 值设为 controller.yaml 文件中的 Compute 节点。

     -
       type: ovs_bridge
       name: br-link0
       use_dhcp: false
       members:
         -
           type: interface
           name: nic3
           mtu: 9000

3. 在 compute.yaml 文件中设置 OVS-DPDK 绑定的 MTU 值：

   - type: ovs_user_bridge
     name: br-link0
     use_dhcp: false
     members:
       - type: ovs_dpdk_bond
         name: dpdkbond0
         mtu: 9000
         rx_queue: 2
         members:
           - type: ovs_dpdk_port
             name: dpdk0
             mtu: 9000
             members:
               - type: interface
                 name: nic4
           - type: ovs_dpdk_port
             name: dpdk1
             mtu: 9000
             members:
               - type: interface
                 name: nic5

流程

1. 在 baremetal_deployment.yaml 文件或自定义文件中，设置以下 baremetal 节点预置备参数：

   pmd_auto_lb

   设置为 true 以启用 PMD 自动负载平衡。

   pmd_load_threshold

   在触发 PMD 负载均衡前，其中一个 PMD 线程必须使用的处理周期百分比。整数，范围 0-100。

   pmd_improvement_threshold

   在触发 PMD 自动负载平衡的非隔离 PMD 线程中评估改进的最小百分比。整数，范围 0-100。

   为计算预计改进，完成重新分配的空运行，与当前的差异相比估计的负载差异。默认为 25%。

   pmd_rebal_interval

   连续两个 PMD Auto Load Balance 操作之间的最短时间（以分钟为单位）。范围 0-20,000 分钟。

   配置此值，以防止在流量模式可改变时触发频繁重新分配。例如，您可以每 10 分钟触发一次重新分配，或者每几分钟后触发一次。

   示例

   ansible_playbooks:
   …
     - playbook: /usr/share/ansible/tripleo-playbooks/cli-overcloud-openvswitch-dpdk.yaml
     extra_vars:
      …
      pmd_auto_lb: true
      pmd_load_threshold: "70"
      pmd_improvement_threshold: "25"
      pmd_rebal_interval: "2"

2. 在 openstack overcloud node provision 命令中包含 baremetal 部署文件，如下例所示：

   示例

    openstack overcloud node provision \
       --stack overcloud \
       --network-config \
       --templates /usr/share/openstack-tripleo-heat-templates \
       --output ~/templates/overcloud-baremetal-deployed.yaml   \
       home/stack/$OSP17REF/network/baremetal_deployment.yaml

3. 在 dpdk-config.yaml 或自定义文件中，设置以下 overcloud 部署参数：

   OvsPmdAutoLb

   等同于 pmd_auto_lb 的 Heat。

   设置为 true 以启用 PMD 自动负载平衡。

   OvsPmdLoadThreshold

   等同于 pmd_load_threshold 的 Heat。

   在触发 PMD 负载均衡前，其中一个 PMD 线程必须使用的处理周期百分比。整数，范围 0-100。

   OvsPmdImprovementThreshold

   等同于 pmd_improvement_threshold 的 Heat。

   在触发 PMD 自动负载平衡的非隔离 PMD 线程中评估改进的最小百分比。整数，范围 0-100。

   为计算预计改进，完成重新分配的空运行，与当前的差异相比估计的负载差异。默认为 25%。

   OvsPmdRebalInterval

   等同于 pmd_rebal_interval 的 Heat。

   连续两个 PMD Auto Load Balance 操作之间的最短时间（以分钟为单位）。范围 0-20,000 分钟。

   配置此值，以防止在流量模式可改变时触发频繁重新分配。例如，您可以每 10 分钟触发一次重新分配，或者每几分钟后触发一次。

   示例

   parameter_merge_strategies:
     ComputeOvsDpdkSriovParameters:merge
   …
   parameter_defaults:
     ComputeOvsDpdkSriovParameters:
      …
      OvsPmdAutoLb: true
      OvsPmdLoadThreshold: 70
      OvsPmdImprovementThreshold: 25
      OvsPmdRebalInterval: 2

4. 使用其他环境文件将 dpdk-config.yaml 或您的 dpdk 配置文件添加到堆栈中，并部署 overcloud：

   示例

   (undercloud)$ openstack overcloud deploy --templates \
   -e <your_environment_files> \
   -e /home/stack/templates/dpdk-config.yaml

1. 创建聚合组，并为 OVS-DPDK 添加相关主机。定义与定义的类别元数据匹配的元数据，如 dpdk=true。

    # openstack aggregate create dpdk_group
    # openstack aggregate add host dpdk_group [compute-host]
    # openstack aggregate set --property dpdk=true dpdk_group

   注意

   固定 CPU 实例可以位于与未固定实例相同的 Compute 节点上。如需更多信息，请参阅配置实例创建指南中的在 Compute 节点上配置 CPU 固定。

2. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

3. 设置类别属性。请注意，定义的元数据 dpdk=true 与 DPDK 聚合中定义的元数据匹配。

   # openstack flavor set <flavor> --property dpdk=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB --property hw:emulator_threads_policy=isolate

   有关性能改进的仿真程序线程策略的详情，请参考 Configuring the Compute Service for Instance Creation 指南中的 Configuring emulator threads 部分。

4. 创建 网络。

   # openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   # openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

5. 可选：如果您在 OVS-DPDK 中使用多队列，请在您要用于创建实例的镜像上设置 hw_vif_multiqueue_enabled 属性：

   # openstack image set --property hw_vif_multiqueue_enabled=true <image>

6. 部署实例。

   # openstack server create --flavor <flavor> --image <glance image> --nic net-id=<network ID> <server_name>

1. 检查网桥配置，并确认网桥具有 datapath_type=netdev。

   # ovs-vsctl list bridge br0
   _uuid               : bdce0825-e263-4d15-b256-f01222df96f3
   auto_attach         : []
   controller          : []
   datapath_id         : "00002608cebd154d"
   datapath_type       : netdev
   datapath_version    : "<built-in>"
   external_ids        : {}
   fail_mode           : []
   flood_vlans         : []
   flow_tables         : {}
   ipfix               : []
   mcast_snooping_enable: false
   mirrors             : []
   name                : "br0"
   netflow             : []
   other_config        : {}
   ports               : [52725b91-de7f-41e7-bb49-3b7e50354138]
   protocols           : []
   rstp_enable         : false
   rstp_status         : {}
   sflow               : []
   status              : {}
   stp_enable          : false

2. 另外，您可以查看错误的日志，如容器无法启动。

   # less /var/log/containers/neutron/openvswitch-agent.log

3. 确认 ovs-dpdk 的 Poll Mode Driver CPU 掩码已固定到 CPU。如果是超线程，请使用同级 CPU。

   例如，要检查 CPU4 的同级设备，请运行以下命令：

   # cat /sys/devices/system/cpu/cpu4/topology/thread_siblings_list
   4,20

   CPU4 的同级是 CPU20，因此使用以下命令：

   # ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x100010

   显示状态：

   # tuna -t ovs-vswitchd -CP
   thread  ctxt_switches pid SCHED_ rtpri affinity voluntary nonvoluntary       cmd
   3161	OTHER 	0    	6	765023      	614	ovs-vswitchd
   3219   OTHER 	0    	6     	1        	0   	handler24
   3220   OTHER 	0    	6     	1        	0   	handler21
   3221   OTHER 	0    	6     	1        	0   	handler22
   3222   OTHER 	0    	6     	1        	0   	handler23
   3223   OTHER 	0    	6     	1        	0   	handler25
   3224   OTHER 	0    	6     	1        	0   	handler26
   3225   OTHER 	0    	6     	1        	0   	handler27
   3226   OTHER 	0    	6     	1        	0   	handler28
   3227   OTHER 	0    	6     	2        	0   	handler31
   3228   OTHER 	0    	6     	2        	4   	handler30
   3229   OTHER 	0    	6     	2        	5   	handler32
   3230   OTHER 	0    	6	953538      	431   revalidator29
   3231   OTHER 	0    	6   1424258      	976   revalidator33
   3232   OTHER 	0    	6   1424693      	836   revalidator34
   3233   OTHER 	0    	6	951678      	503   revalidator36
   3234   OTHER 	0    	6   1425128      	498   revalidator35
   *3235   OTHER 	0    	4	151123       	51       	pmd37*
   *3236   OTHER 	0   	20	298967       	48       	pmd38*
   3164   OTHER 	0    	6 	47575        	0  dpdk_watchdog3
   3165   OTHER 	0    	6	237634        	0   vhost_thread1
   3166   OTHER 	0    	6  	3665        	0       	urcu2

流程

1. 使用为给定角色定义的 NovaComputeCpuSharedSet 部署 overcloud。NovaComputeCpuSharedSet 的值适用于该角色内主机的 nova.conf 文件中的 cpu_shared_set 参数。

   parameter_defaults:
       ComputeOvsDpdkParameters:
           NovaComputeCpuSharedSet: "0-1,16-17"
           NovaComputeCpuDedicatedSet: "2-15,18-31"

2. 创建类别，以构建将仿真程序线程分隔到共享池的实例。

   openstack flavor create --ram <size_mb> --disk <size_gb> --vcpus <vcpus> <flavor>

3. 添加 hw:emulator_threads_policy 额外规格，并将值设为 共享。使用这个类别创建的实例将使用 nova.conf 文件中的 cpu_share_set 参数中定义的实例 CPU。

   openstack flavor set <flavor> --property hw:emulator_threads_policy=share

验证

1. 识别给定实例的主机名。

   openstack server show <instance_id>

2. 使用 SSH 以 tripleo-admin 用户身份登录标识的主机。

   ssh tripleo-admin@compute-1
   [compute-1]$ sudo virsh dumpxml instance-00001 | grep `'emulatorpin cpuset'`

1. 在 parameter_defaults 部分中添加 NeutronPhysicalDevMappings 参数，以链接逻辑网络名称和物理接口。

   parameter_defaults:
     NeutronPhysicalDevMappings:
       - sriov2:p5p2

2. 将新属性 trusted 添加到 SR-IOV 参数。

   parameter_defaults:
     NeutronPhysicalDevMappings:
       - sriov2:p5p2
     NovaPCIPassthrough:
       - vendor_id: "8086"
         product_id: "1572"
         physical_network: "sriov2"
         trusted: "true"

   注意

   您必须在值 "true" 中包含双引号。

1. 创建类型为 vlan 的网络。

   openstack network create trusted_vf_network  --provider-network-type vlan \
    --provider-segment 111 --provider-physical-network sriov2 \
    --external --disable-port-security

2. 创建子网。

   openstack subnet create --network trusted_vf_network \
     --ip-version 4 --subnet-range 192.168.111.0/24 --no-dhcp \
    subnet-trusted_vf_network

3. 创建端口。将 vnic-type 选项设置为 direct，将 binding-profile 选项设置为 true。

   openstack port create --network sriov111 \
   --vnic-type direct --binding-profile trusted=true \
   sriov111_port_trusted

4. 创建一个实例，并将它绑定到之前创建的可信端口。

   openstack server create --image rhel --flavor dpdk  --network internal --port trusted_vf_network_port_trusted --config-drive True --wait rhel-dpdk-sriov_trusted

1. 在您创建的实例的计算节点上，输入以下命令：

   # ip link
   7: p5p2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether b4:96:91:1c:40:fa brd ff:ff:ff:ff:ff:ff
       vf 6 MAC fa:16:3e:b8:91:c2, vlan 111, spoof checking off, link-state auto, trust on, query_rss off
       vf 7 MAC fa:16:3e:84:cf:c8, vlan 111, spoof checking off, link-state auto, trust off, query_rss off

2. 验证 上 VF 的信任状态是 信任。示例输出中包含包含两个端口的环境的详细信息。请注意，vf 6 包含 上的文本信任。
3. 如果您在网络服务(neutron)网络中设置了 port_security_enabled: false，或者在运行 openstack port create 命令时包含参数 --disable-port-security，可以禁用 spoof 检查。

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 创建自定义环境 YAML 文件并在 parameter_defaults 下添加以下定义来提高 RX 和 TX 队列大小：

   parameter_defaults:
     NovaLibvirtRxQueueSize: 1024
     NovaLibvirtTxQueueSize: 1024

4. 运行部署命令并包括核心 heat 模板、其他环境文件、包含 RX 和 TX 队列大小更改的环境文件：

   示例

   $ openstack overcloud deploy --templates \
   -e <other_environment_files> \
   -e /home/stack/my_tx-rx_queue_sizes.yaml

验证

1. 观察 nova.conf 文件中 RX 队列大小和 TX 队列大小的值。

   $ egrep "^[rt]x_queue_size" /var/lib/config-data/puppet-generated/\
   nova_libvirt/etc/nova/nova.conf

   您应该看到以下内容：

   rx_queue_size=1024
   tx_queue_size=1024

2. 在 Compute 主机上 libvirt 生成的 VM 实例 XML 文件中检查 RX 队列大小和 TX 队列大小的值：

   1. 创建新实例。

   2. 获取 Compute 主机和实例名称：

      $ openstack server show testvm-queue-sizes -c OS-EXT-SRV-ATTR:\
      hypervisor_hostname -c OS-EXT-SRV-ATTR:instance_name

      输出示例

      您应该看到类似如下的输出：

      +-------------------------------------+------------------------------------+
      | Field                               | Value                              |
      +-------------------------------------+------------------------------------+
      | OS-EXT-SRV-ATTR:hypervisor_hostname | overcloud-novacompute-1.sales      |
      | OS-EXT-SRV-ATTR:instance_name       | instance-00000059                  |
      +-------------------------------------+------------------------------------+

   3. 登录 Compute 主机并转储实例定义。

      示例

      $ podman exec nova_libvirt virsh dumpxml instance-00000059

      输出示例

      您应该看到类似如下的输出：

      ...
         <interface type='vhostuser'>
           <mac address='56:48:4f:4d:5e:6f'/>
           <source type='unix' path='/tmp/vhost-user1' mode='server'/>
           <model type='virtio'/>
           <driver name='vhost' rx_queue_size='1024'   tx_queue_size='1024' />
           <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/>
         </interface>
      ...

流程

1. 设置一个新的 NeutronPhysnetNUMANodesMapping 参数，将物理网络映射到您与物理网络关联的 NUMA 节点。

2. 如果使用 VxLAN 或 GRE 等隧道，还必须设置 NeutronTunnelNUMANodes 参数。

   parameter_defaults:
     NeutronPhysnetNUMANodesMapping: {<physnet_name>: [<NUMA_NODE>]}
     NeutronTunnelNUMANodes: <NUMA_NODE>,<NUMA_NODE>

   示例

   以下是两个到 NUMA 节点 0 的物理网络的示例：

   • 与 NUMA 节点 0 关联的项目网络

   • 一个没有关联性的管理网络

     parameter_defaults:
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysnetNUMANodesMapping: {tenant: [1], mgmt: [0,1]}
       NeutronTunnelNUMANodes: 0

   • 在本例中，将名为 eno2 的设备的 physnet 分配给 NUMA 编号 0。

     # ethtool -i eno2
     bus-info: 0000:18:00.1
     
     # cat /sys/devices/pci0000:16/0000:16:02.0/0000:18:00.1/numa_node
     0

     观察示例 heat 模板中的 physnet 设置：

     NeutronBridgeMappings: 'physnet1:br-physnet1'
     NeutronPhysnetNUMANodesMapping: {physnet1: [0] }
     
     - type: ovs_user_bridge
                     name: br-physnet1
                     mtu: 9000
                     members:
                       - type: ovs_dpdk_port
                         name: dpdk2
                         members:
                           - type: interface
                             name: eno2

1. 观察 /var/lib/config-data/puppet-generated/nova_libvirt/etc/nova/nova.conf 文件中的配置：

   [neutron_physnet_tenant]
   numa_nodes=1
   [neutron_tunnel]
   numa_nodes=1

2. 使用 lscpu 命令确认新配置：

   $ lscpu

3. 启动附加到适当网络的 NIC 的虚拟机。

构建实时镜像

1. 在 undercloud 上安装 libguestfs-tools 软件包，以获取 virt-customize 工具：

   (undercloud) [stack@undercloud-0 ~]$ sudo dnf install libguestfs-tools

   重要

   如果在 undercloud 上安装 libguestfs-tools 软件包，请禁用 iscsid.socket，以避免与 undercloud 上的 tripleo_iscsid 服务冲突：

   $ sudo systemctl disable --now iscsid.socket

2. 解压镜像：

   (undercloud) [stack@undercloud-0 ~]$ tar -xf /usr/share/rhosp-director-images/overcloud-full.tar
   (undercloud) [stack@undercloud-0 ~]$ tar -xf /usr/share/rhosp-director-images/ironic-python-agent.tar

3. 复制默认镜像：

   (undercloud) [stack@undercloud-0 ~]$ cp overcloud-hardened-uefi-full.qcow2 overcloud-realtime-compute.qcow2

4. 注册您的镜像以启用与您的自定义相关的红帽软件仓库。将 [username] 和 [password] 替换为以下示例中的有效凭证。

   virt-customize -a overcloud-realtime-compute.qcow2 --run-command \
   'subscription-manager register --username=[username] --password=[password]' \
   subscription-manager release --set 8.4

   注意

   为安全起见，如果在命令提示符中使用它们，则可从历史记录文件中删除凭证。您可以使用 history -d 命令和行号删除历史记录中的个别行。

5. 从您的帐户的订阅中找到池 ID 列表，并将适当的池 ID 附加到您的镜像。

   sudo subscription-manager list --all --available | less
   ...
   virt-customize -a overcloud-realtime-compute.qcow2 --run-command \
   'subscription-manager attach --pool [pool-ID]'

6. 添加使用 NFV 的 Red Hat OpenStack Platform 所需的存储库。

   virt-customize -a overcloud-realtime-compute.qcow2 --run-command \
   'sudo subscription-manager repos --enable=rhel-8-for-x86_64-baseos-eus-rpms \
   --enable=rhel-8-for-x86_64-appstream-eus-rpms \
   --enable=rhel-8-for-x86_64-highavailability-eus-rpms \
   --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
   --enable=openstack-16.2-for-rhel-8-x86_64-rpms \
   --enable=rhel-8-for-x86_64-nfv-rpms \
   --enable=fast-datapath-for-rhel-8-x86_64-rpms'

7. 创建一个脚本，以配置镜像的实时功能。

   (undercloud) [stack@undercloud-0 ~]$ cat <<'EOF' > rt.sh
     #!/bin/bash
   
     set -eux
   
     dnf -v -y --setopt=protected_packages= erase kernel.$(uname -m)
     dnf -v -y install kernel-rt kernel-rt-kvm tuned-profiles-nfv-host
     grubby --set-default /boot/vmlinuz*rt*
     EOF

8. 运行脚本以配置实时镜像：

   (undercloud) [stack@undercloud-0 ~]$ virt-customize -a overcloud-realtime-compute.qcow2 -v --run rt.sh 2>&1 | tee virt-customize.log

   注意

   如果您在 rt.sh 脚本输出中看到以下行，"grubby fatal error: 无法找到合适的模板"，您可以忽略此错误。

9. 检查之前命令生成的 virt-customize.log 文件，以使用 rt.sh 脚本检查是否正确安装的软件包。

   (undercloud) [stack@undercloud-0 ~]$ cat virt-customize.log | grep Verifying
   
     Verifying  : kernel-3.10.0-957.el7.x86_64                                 1/1
     Verifying  : 10:qemu-kvm-tools-rhev-2.12.0-18.el7_6.1.x86_64              1/8
     Verifying  : tuned-profiles-realtime-2.10.0-6.el7_6.3.noarch              2/8
     Verifying  : linux-firmware-20180911-69.git85c5d90.el7.noarch             3/8
     Verifying  : tuned-profiles-nfv-host-2.10.0-6.el7_6.3.noarch              4/8
     Verifying  : kernel-rt-kvm-3.10.0-957.10.1.rt56.921.el7.x86_64            5/8
     Verifying  : tuna-0.13-6.el7.noarch                                       6/8
     Verifying  : kernel-rt-3.10.0-957.10.1.rt56.921.el7.x86_64                7/8
     Verifying  : rt-setup-2.0-6.el7.x86_64                                    8/8

10. 重新标记 SELinux：

    (undercloud) [stack@undercloud-0 ~]$ virt-customize -a overcloud-realtime-compute.qcow2 --selinux-relabel

11. 提取 vmlinuz 和 initrd：

    (undercloud) [stack@undercloud-0 ~]$ mkdir image
    (undercloud) [stack@undercloud-0 ~]$ guestmount -a overcloud-realtime-compute.qcow2 -i --ro image
    (undercloud) [stack@undercloud-0 ~]$ cp image/boot/vmlinuz-3.10.0-862.rt56.804.el7.x86_64 ./overcloud-realtime-compute.vmlinuz
    (undercloud) [stack@undercloud-0 ~]$ cp image/boot/initramfs-3.10.0-862.rt56.804.el7.x86_64.img ./overcloud-realtime-compute.initrd
    (undercloud) [stack@undercloud-0 ~]$ guestunmount image

    注意

    vmlinuz 和 initramfs 文件名中的软件版本与内核版本不同。

12. 上传镜像：

    (undercloud) [stack@undercloud-0 ~]$ openstack overcloud image upload --update-existing --os-image-name overcloud-realtime-compute.qcow2

1. 在 overcloud 中创建 RT-KVM 类别：

   # openstack flavor create  r1.small 99 4096 20 4
   # openstack flavor set --property hw:cpu_policy=dedicated 99
   # openstack flavor set --property hw:cpu_realtime=yes 99
   # openstack flavor set --property hw:mem_page_size=1GB 99
   # openstack flavor set --property hw:cpu_realtime_mask="^0-1" 99
   # openstack flavor set --property hw:cpu_emulator_threads=isolate 99

2. 启动 RT-KVM 实例：

   # openstack server create  --image <rhel> --flavor r1.small --nic net-id=<dpdk-net> test-rt

3. 要验证实例是否使用分配的仿真程序线程，请运行以下命令：

   # virsh dumpxml <instance-id> | grep vcpu -A1
   <vcpu placement='static'>4</vcpu>
   <cputune>
     <vcpupin vcpu='0' cpuset='1'/>
     <vcpupin vcpu='1' cpuset='3'/>
     <vcpupin vcpu='2' cpuset='5'/>
     <vcpupin vcpu='3' cpuset='7'/>
     <emulatorpin cpuset='0-1'/>
     <vcpusched vcpus='2-3' scheduler='fifo'
     priority='1'/>
   </cputune>

1. 在 resource_registry 下为 OVS-DPDK 添加自定义资源：

     resource_registry:
       # Specify the relative/absolute path to the config files you want to use for override the default.
       OS::TripleO::ComputeOvsDpdkSriov::Net::SoftwareConfig: nic-configs/computeovsdpdksriov.yaml
       OS::TripleO::Controller::Net::SoftwareConfig: nic-configs/controller.yaml

2. 在 parameter_defaults 下，将隧道类型设置为 vxlan，并将网络类型设置为 vxlan,vlan ：

   NeutronTunnelTypes: 'vxlan'
   NeutronNetworkType: 'vxlan,vlan'

3. 在 parameters_defaults 下，设置网桥映射：

   # The OVS logical->physical bridge mappings to use.
   NeutronBridgeMappings:
     - dpdk-mgmt:br-link0

4. 在 parameter_defaults 下，为 ComputeOvsDpdkSriov 角色设置特定于角色的参数：

     ##########################
     # OVS DPDK configuration #
     ##########################
     ComputeOvsDpdkSriovParameters:
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=2-19,22-39"
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "2-19,22-39"
       NovaComputeCpuDedicatedSet: ['4-19,24-39']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "3072,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "2,22,3,23"
       NovaComputeCpuSharedSet: [0,20,1,21]
       NovaLibvirtRxQueueSize: 1024
       NovaLibvirtTxQueueSize: 1024

   注意

   要防止客户机创建过程中故障，在每个 NUMA 节点上至少分配一个带有同级线程的 CPU。在示例中，OvsPmdCoreList 参数的值代表来自 NUMA 0 的核心 2 和 22，以及来自 NUMA 1 的内核 3 和 23。

   注意

   这些巨页由虚拟机消耗，由 OVS-DPDK 使用 OvsDpdkSocketMemory 参数，如此过程所示。可用于虚拟机的巨页数量是 引导参数，减去 OvsDpdkSocketMemory。

   您还必须将 hw:mem_page_size=1GB 添加到与 DPDK 实例关联的类别。

   注意

   OvsDpdkMemoryChannels 是这个流程的必要设置。对于最佳操作，请确保使用适当的参数和值部署 DPDK。

5. 为 SR-IOV 配置特定于角色的参数：

     NovaPCIPassthrough:
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.0"
         trusted: "true"
         physical_network: "sriov-1"
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.1"
         trusted: "true"
         physical_network: "sriov-2"

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic2
         primary: true

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageMgmtNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageMgmtIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: ExternalNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: ExternalIpSubnet
       routes:
       - default: true
         next_hop:
           get_param: ExternalInterfaceDefaultRoute

3. 创建 OVS 网桥，以访问 neutron-dhcp-agent 和 neutron-metadata-agent 服务。

     - type: ovs_bridge
       name: br-link0
       use_dhcp: false
       mtu: 9000
       members:
       - type: interface
         name: nic3
         mtu: 9000
       - type: vlan
         vlan_id:
           get_param: TenantNetworkVlanID
         mtu: 9000
         addresses:
         - ip_netmask:
             get_param: TenantIpSubnet

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic3
         primary: true
       - type: interface
         name: nic4

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet

3. 设置带有 DPDK 端口的网桥，以链接到控制器。

     - type: ovs_user_bridge
       name: br-link0
       use_dhcp: false
       ovs_extra:
         - str_replace:
             template: set port br-link0 tag=_VLAN_TAG_
             params:
               _VLAN_TAG_:
                  get_param: TenantNetworkVlanID
       addresses:
         - ip_netmask:
             get_param: TenantIpSubnet
       members:
         - type: ovs_dpdk_bond
           name: dpdkbond0
           mtu: 9000
           rx_queue: 2
           members:
             - type: ovs_dpdk_port
               name: dpdk0
               members:
                 - type: interface
                   name: nic7
             - type: ovs_dpdk_port
               name: dpdk1
               members:
                 - type: interface
                   name: nic8

   注意

   要包含多个 DPDK 设备，请为您要添加的每个 DPDK 设备重复 类型 代码部分。

   注意

   使用 OVS-DPDK 时，同一 Compute 节点上的所有网桥都必须是 ovs_user_bridge 类型。Red Hat OpenStack Platform 不支持同一节点上的 ovs_bridge 和 ovs_user_bridge。