네트워크 기능 가상화 계획 및 구성 가이드

절차

1. RHOSP 배포의 Compute 노드에 구성하려는 Mellanox NIC가 있습니다.

2. mstflint 유틸리티를 사용하여 ESWITCH_IPV4_TTL_MODIFY_ENABLE Mellanox 펌웨어 매개 변수를 쿼리합니다.

   [root@compute-1 ~]# yum install -y mstflint
   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> q ESWITCH_IPV4_TTL_MODIFY_ENABLE

   Copy to Clipboard Toggle word wrap

3. ESWITCH_IPV4_TTL_MODIFY_ENABLE 매개 변수가 활성화되어 1 로 설정된 경우 값을 0 으로 설정하여 비활성화합니다.

   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> s ESWITCH_IPV4_TTL_MODIFY_ENABLE=0`

   Copy to Clipboard Toggle word wrap
4. 노드를 재부팅합니다.

절차

1. 메시지가 표시되면 시스템을 Content Delivery Network에 등록하고 고객 포털 사용자 이름과 암호를 입력합니다.

   [stack@director ~]$ sudo subscription-manager register

   Copy to Clipboard Toggle word wrap

2. Red Hat OpenStack Platform director의 인타이틀먼트 풀 ID를 확인합니다(예: 다음 명령 및 출력에서 {Pool ID}).

   [stack@director ~]$ sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
   Subscription Name:   Name of SKU
   Provides:            Red Hat Single Sign-On
                        Red Hat Enterprise Linux Workstation
                        Red Hat CloudForms
                        Red Hat OpenStack
                        Red Hat Software Collections (for RHEL Workstation)
   SKU:                 SKU-Number
   Contract:            Contract-Number
   Pool ID:             {Pool-ID}-123456
   Provides Management: Yes
   Available:           1
   Suggested:           1
   Service Level:       Support-level
   Service Type:        Service-Type
   Subscription Type:   Sub-type
   Ends:                End-date
   System Type:         Physical

   Copy to Clipboard Toggle word wrap

3. Red Hat OpenStack Platform 16.2 인타이틀먼트를 연결하려면 다음 명령에 Pool ID 값을 포함합니다.

   [stack@director ~]$ sudo subscription-manager attach --pool={Pool-ID}-123456

   Copy to Clipboard Toggle word wrap

4. 기본 리포지토리를 비활성화합니다.

   subscription-manager repos --disable=*

   Copy to Clipboard Toggle word wrap

5. NFV를 사용하여 Red Hat OpenStack Platform에 필요한 리포지토리를 활성화합니다.

   $ sudo subscription-manager repos \
   --enable=rhel-8-for-x86_64-baseos-eus-rpms \
   --enable=rhel-8-for-x86_64-appstream-eus-rpms \
   --enable=rhel-8-for-x86_64-highavailability-eus-rpms \
   --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
   --enable=openstack-16.2-for-rhel-8-x86_64-rpms \
   --enable=rhel-8-for-x86_64-nfv-rpms \
   --enable=fast-datapath-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

6. 시스템을 업데이트하여 기본 시스템 패키지를 최신 상태로 유지합니다.

   [stack@director ~]$ sudo dnf update -y
   [stack@director ~]$ sudo reboot

   Copy to Clipboard Toggle word wrap

절차

1. stack 사용자로 언더클라우드에 로그인합니다.

2. stackrc 파일을 소싱합니다.

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. Controller 및 ComputeSriov 역할을 포함하는 roles_data_compute_sriov.yaml 이라는 새 역할 데이터 파일을 생성합니다.

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_compute_sriov.yaml \
    Controller ComputeSriov

   Copy to Clipboard Toggle word wrap

   ComputeSriov 는 기본 컴퓨팅 서비스 외에도 NeutronSriovAgent 및 NeutronSriovHostConfig 서비스를 포함하는 RHOSP 설치와 함께 제공되는 사용자 지정 역할입니다.

4. SR-IOV 컨테이너를 준비하려면 overcloud_images.yaml 파일을 생성할 때 neutron-sriov.yaml 및 roles_data_compute_sriov.yaml 파일을 포함합니다.

   $ sudo openstack tripleo container image prepare \
     --roles-file ~/templates/roles_data_compute_sriov.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/services/neutron-sriov.yaml \
     -e ~/containers-prepare-parameter.yaml \
     --output-env-file=/home/stack/templates/overcloud_images.yaml

   Copy to Clipboard Toggle word wrap

   컨테이너 이미지 준비에 대한 자세한 내용은 Director 설치 및 사용 가이드에서 컨테이너 이미지 준비를 참조하십시오.

5. 환경 파일 디렉터리에 /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml 파일의 사본을 생성합니다.

   $ cp /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml /home/stack/templates/network-environment-sriov.yaml

   Copy to Clipboard Toggle word wrap

6. network-environment-sriov.yaml 파일에서 parameter_defaults 아래에 다음 매개변수를 추가하여 클러스터 및 하드웨어 구성에 대한 SR-IOV 노드를 구성합니다.

     NeutronNetworkType: 'vlan'
     NeutronNetworkVLANRanges:
       - tenant:22:22
       - tenant:25:25
     NeutronTunnelTypes: ''

   Copy to Clipboard Toggle word wrap

7. 각 PCI 장치 유형의 vendor_id 및 product_id 를 확인하려면 PCI 카드가 있는 물리적 서버에서 다음 명령 중 하나를 사용합니다.

   • 배포된 오버클라우드에서 vendor_id 및 product_id 를 반환하려면 다음 명령을 사용합니다.

     # lspci -nn -s  <pci_device_address>
     3b:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ [<vendor_id>: <product_id>] (rev 02)

     Copy to Clipboard Toggle word wrap

   • 오버클라우드를 아직 배포하지 않은 경우 PF(물리 기능)의 vendor_id 및 product_id 를 반환하려면 다음 명령을 사용합니다.

     (undercloud) [stack@undercloud-0 ~]$ openstack baremetal introspection data save <baremetal_node_name> | jq '.inventory.interfaces[] | .name, .vendor, .product'

     Copy to Clipboard Toggle word wrap

8. network-environment-sriov.yaml 파일에서 SR-IOV 컴퓨팅 노드에 대한 역할별 매개변수를 구성합니다.

     ComputeSriovParameters:
       IsolCpusList: "1-19,21-39"
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=1-19,21-39"
       TunedProfileName: "cpu-partitioning"
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysicalDevMappings:
         - tenant:p7p1
       NovaComputeCpuDedicatedSet: '1-19,21-39'
       NovaReservedHostMemory: 4096

   Copy to Clipboard Toggle word wrap
   참고

   NovaVcpuPinSet 매개변수는 더 이상 사용되지 않으며 전용 고정된 워크로드에서 NovaComputeCpuDedicatedSet 으로 교체됩니다.

9. network-environment-sriov.yaml 파일에서 SR-IOV 컴퓨팅 노드의 PCI 패스스루 장치를 구성합니다.

     ComputeSriovParameters:
       ...
       NovaPCIPassthrough:
         - vendor_id: "<vendor_id>"
           product_id: "<product_id>"
           address: <NIC_address>
           physical_network: "<physical_network>"
       ...

   Copy to Clipboard Toggle word wrap
   • <vendor_id> 를 PCI 장치의 공급업체 ID로 바꿉니다.
   • <product_id> 를 PCI 장치의 제품 ID로 바꿉니다.
   • <NIC_address> 를 PCI 장치의 주소로 바꿉니다. address 매개변수를 구성하는 방법에 대한 자세한 내용은 Compute Service for Instance Creation 가이드의 NovaPCIPassthrough 구성 지침을 참조하십시오.

   • <physical_network> 를 PCI 장치가 있는 물리적 네트워크의 이름으로 바꿉니다.

     참고

     NIC의 장치 이름이 변경될 수 있으므로 PCI 패스스루를 구성할 때 devname 매개변수를 사용하지 마십시오. PF에서 네트워킹 서비스(neutron) 포트를 생성하려면 NovaPCIPassthrough 에서 vendor _id, product _id 및 PCI 장치 주소를 지정하고 --vnic-type direct-physical 옵션을 사용하여 포트를 만듭니다. 가상 기능(VF)에서 네트워킹 서비스 포트를 생성하려면 NovaPCIPassthrough 에서 vendor_id 및 product_id 를 지정하고 --vnic-type direct 옵션을 사용하여 포트를 생성합니다. vendor_id 및 product_id 매개변수 값은 물리적 기능(PF)과 VF 컨텍스트마다 다를 수 있습니다. NovaPCIPassthrough 를 구성하는 방법에 대한 자세한 내용은 Configuring the Compute Service for Instance Creation 가이드의 NovaPCIPassthrough 구성 지침을 참조하십시오.

10. compute.yaml 네트워크 구성 템플릿에서 SR-IOV가 활성화된 인터페이스를 구성합니다. SR-IOV VF를 생성하려면 인터페이스를 독립 실행형 NIC로 구성합니다.

                 - type: sriov_pf
                    name: p7p3
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false
    
                  - type: sriov_pf
                    name: p7p4
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false

    Copy to Clipboard Toggle word wrap
    참고

    numvfs 매개변수는 네트워크 구성 템플릿의 NeutronSriovNumVFs 매개변수를 대체합니다. Red Hat은 배포 후 NeutronSriovNumVFs 매개변수 또는 numvfs 매개 변수의 수정을 지원하지 않습니다. 배포 후 매개변수를 수정하면 해당 PF에 SR-IOV 포트가 있는 실행 중인 인스턴스에 대한 중단이 발생할 수 있습니다. 이 경우 SR-IOV PCI 장치를 다시 사용하려면 이러한 인스턴스를 하드 재부팅해야 합니다.

11. 기본 필터 목록에 AggregateInstanceExtraSpecsFilter 값이 포함되어 있는지 확인합니다.

    NovaSchedulerDefaultFilters:
    ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','Serve
    rGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','AggregateInstanceExt
    raSpecsFilter']

    Copy to Clipboard Toggle word wrap
12. overcloud_deploy.sh 스크립트를 실행합니다.

절차

1. 선택한 역할에 대한 NIC 구성 파일을 엽니다.

2. sriov_pf 인터페이스 유형 항목을 추가하여 호스트에서 사용할 수 있는 물리적 기능을 구성합니다.

           - type: sriov_pf
               name: <interface_name>
               use_dhcp: false
               numvfs: <number_of_vfs>
               promisc: <true/false>

   Copy to Clipboard Toggle word wrap
   • & lt;interface_name >을 인터페이스 이름으로 바꿉니다.
   • & lt;number_of_vfs& gt;를 VF 수로 바꿉니다.
   • 선택 사항: 무차별 모드를 설정하려면 < true /false >를 true로 교체하거나 false 를 사용하여 무차별 모드를 비활성화합니다. 기본값은 true입니다.
   참고

   numvfs 매개변수는 네트워크 구성 템플릿의 NeutronSriovNumVFs 매개변수를 대체합니다. Red Hat은 배포 후 NeutronSriovNumVFs 매개변수 또는 numvfs 매개 변수의 수정을 지원하지 않습니다. 배포 후 매개 변수를 수정하면 해당 PF(물리적 기능)에 SR-IOV 포트가 있는 실행 중인 인스턴스가 중단될 수 있습니다. 이 경우 SR-IOV PCI 장치를 다시 사용하려면 이러한 인스턴스를 하드 재부팅해야 합니다.

3. sriov_vf 인터페이스 유형 항목을 추가하여 호스트에서 사용할 수 있는 가상 기능을 구성합니다.

    - type: <bond_type>
      name: internal_bond
      bonding_options: mode=<bonding_option>
      use_dhcp: false
      members:
      - type: sriov_vf
          device: <pf_device_name>
          vfid: <vf_id>
      - type: sriov_vf
          device:  <pf_device_name>
          vfid: <vf_id>
   
    - type: vlan
      vlan_id:
        get_param: InternalApiNetworkVlanID
      spoofcheck: false
      device: internal_bond
      addresses:
      - ip_netmask:
          get_param: InternalApiIpSubnet
      routes:
        list_concat_unique:
        - get_param: InternalApiInterfaceRoutes

   Copy to Clipboard Toggle word wrap
   • <bond_type> 을 필수 본딩 유형(예: linux_bond )으로 바꿉니다. ovs_bond 와 같은 다른 본딩의 본딩에 VLAN 태그를 적용할 수 있습니다.

   • <bonding_option> 을 지원되는 다음 본딩 모드 중 하나로 바꿉니다.

     • active-backup

     • balance-slb

       참고

       LACP 본딩은 지원되지 않습니다.

   • members 섹션에서 결합할 인터페이스 유형으로 sriov_vf 를 지정합니다.

     참고

     OVS 브릿지를 인터페이스 유형으로 사용하는 경우 sriov_pf 장치의 sriov_vf 에서 하나의 OVS 브리지만 구성할 수 있습니다. 단일 sriov_pf 장치의 OVS 브리지가 두 개 이상 있으면 VF 간에 패킷 중복이 발생하고 성능이 저하될 수 있습니다.

   • <pf_device_name> 을 PF 장치의 이름으로 바꿉니다.
   • linux_bond 를 사용하는 경우 VLAN 태그를 할당해야 합니다. VLAN 태그를 설정하는 경우 단일 sriov_pf 장치와 연결된 각 VF에 대해 고유한 태그를 설정해야 합니다. 동일한 VLAN에 동일한 PF의 두 개의 VF가 있을 수 없습니다.
   • <vf_id> 를 VF의 ID로 바꿉니다. 적용 가능한 VF ID 범위는 0에서 시작되고 최대 VF 수에서 1을 뺀 값으로 끝납니다.
   • 스푸핑 검사를 비활성화합니다.
   • VF를 통해 linux_bond 의 sriov_vf 에 VLAN 태그를 적용합니다.

4. 인스턴스에 VF를 예약하려면 환경 파일에 NovaPCIPassthrough 매개변수를 포함합니다. 예를 들면 다음과 같습니다.

   NovaPCIPassthrough:
    - address: "0000:19:0e.3"
      trusted: "true"
      physical_network: "sriov1"
    - address: "0000:19:0e.0"
      trusted: "true"
      physical_network: "sriov2"

   Copy to Clipboard Toggle word wrap

   director는 호스트 VF를 식별하고 인스턴스에 사용할 수 있는 VF의 PCI 주소를 파생합니다.

5. NIC 파티셔닝이 필요한 모든 노드에서 IOMMU 를 활성화합니다. 예를 들어 컴퓨팅 노드에 NIC 파티셔닝을 사용하려면 해당 역할에 KernelArgs 매개변수를 사용하여 IOMMU를 활성화합니다.

   parameter_defaults:
     ComputeParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

   Copy to Clipboard Toggle word wrap
   참고

   KernelArgs 매개변수를 역할 구성에 처음 추가하면 오버클라우드 노드가 자동으로 재부팅됩니다. 필요한 경우 노드 자동 재부팅을 비활성화하고 대신 각 오버클라우드 배포 후 노드를 수동으로 재부팅할 수 있습니다.

   자세한 내용은 Configuring the manual node reboot to define KernelArgs in the Configuring the Compute Service for Instance Creation 가이드를 참조하십시오.

6. 다른 환경 파일과 함께 스택에 역할 파일 및 환경 파일을 추가하고 오버클라우드를 배포합니다.

   (undercloud)$ openstack overcloud deploy --templates \
     -r os-net-config.yaml
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

   Copy to Clipboard Toggle word wrap

검증

1. 오버클라우드 컴퓨팅 노드에 heat-admin 으로 로그인하고 VF 수를 확인합니다.

   [heat-admin@overcloud-compute-0 heat-admin]$ sudo cat /sys/class/net/p4p1/device/sriov_numvfs
   10
   [heat-admin@overcloud-compute-0 heat-admin]$ sudo cat /sys/class/net/p4p2/device/sriov_numvfs
   10

   Copy to Clipboard Toggle word wrap

2. OVS 연결을 표시합니다.

   [heat-admin@overcloud-compute-0]$ sudo ovs-vsctl show
   b6567fa8-c9ec-4247-9a08-cbf34f04c85f
       Manager "ptcp:6640:127.0.0.1"
           is_connected: true
       Bridge br-sriov2
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov2
               Interface phy-br-sriov2
                   type: patch
                   options: {peer=int-br-sriov2}
           Port br-sriov2
               Interface br-sriov2
                   type: internal
       Bridge br-sriov1
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov1
               Interface phy-br-sriov1
                   type: patch
                   options: {peer=int-br-sriov1}
           Port br-sriov1
               Interface br-sriov1
                   type: internal
       Bridge br-ex
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-ex
               Interface br-ex
                   type: internal
           Port phy-br-ex
               Interface phy-br-ex
                   type: patch
                   options: {peer=int-br-ex}
       Bridge br-tenant
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-tenant
               tag: 305
               Interface br-tenant
                   type: internal
           Port phy-br-tenant
               Interface phy-br-tenant
                   type: patch
                   options: {peer=int-br-tenant}
           Port dpdkbond0
               Interface dpdk0
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0e.0"}
               Interface dpdk1
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0a.0"}
       Bridge br-tun
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port vxlan-98140025
               Interface vxlan-98140025
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.37"}
           Port br-tun
               Interface br-tun
                   type: internal
           Port patch-int
               Interface patch-int
                   type: patch
                   options: {peer=patch-tun}
           Port vxlan-98140015
               Interface vxlan-98140015
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.21"}
           Port vxlan-9814009f
               Interface vxlan-9814009f
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.159"}
           Port vxlan-981400cc
               Interface vxlan-981400cc
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.204"}
       Bridge br-int
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port int-br-tenant
               Interface int-br-tenant
                   type: patch
                   options: {peer=phy-br-tenant}
           Port int-br-ex
               Interface int-br-ex
                   type: patch
                   options: {peer=phy-br-ex}
           Port int-br-sriov1
               Interface int-br-sriov1
                   type: patch
                   options: {peer=phy-br-sriov1}
           Port patch-tun
               Interface patch-tun
                   type: patch
                   options: {peer=patch-int}
           Port br-int
               Interface br-int
                   type: internal
           Port int-br-sriov2
               Interface int-br-sriov2
                   type: patch
                   options: {peer=phy-br-sriov2}
           Port vhu4142a221-93
               tag: 1
               Interface vhu4142a221-93
                   type: dpdkvhostuserclient
                   options: {vhost-server-path="/var/lib/vhost_sockets/vhu4142a221-93"}
       ovs_version: "2.13.2"

   Copy to Clipboard Toggle word wrap

3. OVS-DPDK SR-IOV 컴퓨팅 노드에 heat-admin 으로 로그인하고 Linux 본딩을 확인합니다.

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]$ cat /proc/net/bonding/<bond_name>
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: None
   Currently Active Slave: eno3v1
   MII Status: up
   MII Polling Interval (ms): 0
   Up Delay (ms): 0
   Down Delay (ms): 0
   Peer Notification Delay (ms): 0
   
   Slave Interface: eno3v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4e:77:94:bd:38:d2
   Slave queue ID: 0
   
   Slave Interface: eno4v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4a:74:52:a7:aa:7c
   Slave queue ID: 0

   Copy to Clipboard Toggle word wrap

4. OVS 본딩을 나열합니다.

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]$ sudo ovs-appctl bond/show
   ---- dpdkbond0 ----
   bond_mode: balance-slb
   bond may use recirculation: no, Recirc-ID : -1
   bond-hash-basis: 0
   updelay: 0 ms
   downdelay: 0 ms
   next rebalance: 9491 ms
   lacp_status: off
   lacp_fallback_ab: false
   active slave mac: ce:ee:c7:58:8e:b2(dpdk1)
   
   slave dpdk0: enabled
     may_enable: true
   
   slave dpdk1: enabled
     active slave
     may_enable: true

   Copy to Clipboard Toggle word wrap

프로세스

1. Compute 역할을 기반으로 OVS 하드웨어 오프로드에 대한 오버클라우드 역할을 생성합니다.

   openstack overcloud roles generate -o roles_data.yaml \
   Controller Compute:ComputeOvsHwOffload

   Copy to Clipboard Toggle word wrap
2. 선택 사항: ComputeOvsHwOffload 역할의 HostnameFormatDefault: '%stackname%-compute-%index%' 이름을 변경합니다.
3. 값이 true 인 역할별 매개변수 아래에 OvsHwOffload 매개변수를 추가합니다.
4. iptables/hybrid 방화벽 드라이버 구현을 사용하도록 neutron을 구성하려면 다음 행을 포함합니다. NeutronOVSFirewallDriver: iptables_hybrid. NeutronOVSFirewallDriver 에 대한 자세한 내용은 Advanced Overcloud Customization Guide에서 Open vSwitch Firewall 사용을 참조하십시오.

5. 환경과 일치하도록 physical_network 매개변수를 구성합니다.

   • VLAN의 경우 배포 후 physical_network 매개변수를 neutron에서 생성한 네트워크의 이름으로 설정합니다. 이 값은 NeutronBridgeMappings 에도 있어야 합니다.

   • VXLAN의 경우 physical_network 매개 변수를 null 로 설정합니다.

     예제:

     parameter_defaults:
       NeutronOVSFirewallDriver: iptables_hybrid
       ComputeSriovParameters:
         IsolCpusList: 2-9,21-29,11-19,31-39
         KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=128 intel_iommu=on iommu=pt"
         OvsHwOffload: true
         TunedProfileName: "cpu-partitioning"
         NeutronBridgeMappings:
           - tenant:br-tenant
         NovaPCIPassthrough:
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "tenant"
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "null"
         NovaReservedHostMemory: 4096
         NovaComputeCpuDedicatedSet: 1-9,21-29,11-19,31-39

     Copy to Clipboard Toggle word wrap
   • & lt;vendor-id& gt;를 물리적 NIC의 벤더 ID로 바꿉니다.
   • & lt;product-id& gt;를 NIC VF의 제품 ID로 바꿉니다.

   • & lt;address& gt;를 물리적 NIC의 주소로 바꿉니다.

     NovaPCIPassthrough 를 구성하는 방법에 대한 자세한 내용은 Configuring the Compute Service for Instance Creation 가이드의 NovaPCIPassthrough 구성 지침을 참조하십시오.

6. 기본 필터 목록에 NUMATopologyFilter 가 포함되어 있는지 확인합니다.

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   Copy to Clipboard Toggle word wrap
   참고

   선택 사항: Mellanox ConnectX5 NIC를 사용하여 RHOSP 16.2에서 OVS Hardware Offload 문제를 해결하고 구성하는 방법에 대한 자세한 내용은 Hardware Offload 문제 해결을 참조하십시오.

7. compute-sriov.yaml 구성 파일에서 하드웨어 오프로드를 위한 하나 이상의 네트워크 인터페이스를 구성합니다.

     - type: ovs_bridge
       name: br-tenant
       mtu: 9000
       members:
       - type: sriov_pf
         name: p7p1
         numvfs: 5
         mtu: 9000
         primary: true
         promisc: true
         use_dhcp: false
         link_mode: switchdev

   Copy to Clipboard Toggle word wrap
   참고
   • Open vSwitch 하드웨어 오프로드를 구성할 때 NeutronSriovNumVFs 매개변수를 사용하지 마십시오. 가상 함수 수는 os-net-config 에서 사용하는 네트워크 구성 파일의 numvfs 매개 변수를 사용하여 지정됩니다. Red Hat은 업데이트 또는 재배포 중에 numvfs 설정을 수정하는 것을 지원하지 않습니다.
   • VXLAN과 같은 터널 끝점이 드라이버 제한으로 인해 트래픽을 전달하지 않도록 하기 때문에 Mellanox 네트워크 인터페이스를 nic-config 인터페이스 유형 ovs-vlan 으로 구성하지 마십시오.

8. overcloud deploy 명령에 ovs-hw-offload.yaml 파일을 포함합니다.

   TEMPLATES_HOME=”/usr/share/openstack-tripleo-heat-templates”
   CUSTOM_TEMPLATES=”/home/stack/templates”
   
   openstack overcloud deploy --templates \
     -r ${CUSTOM_TEMPLATES}/roles_data.yaml \
     -e ${TEMPLATES_HOME}/environments/ovs-hw-offload.yaml \
     -e ${CUSTOM_TEMPLATES}/network-environment.yaml \
     -e ${CUSTOM_TEMPLATES}/neutron-ovs.yaml

   Copy to Clipboard Toggle word wrap

검증

1. PCI 장치가 switchdev 모드에 있는지 확인합니다.

   # devlink dev eswitch show pci/0000:03:00.0
   pci/0000:03:00.0: mode switchdev inline-mode none encap enable

   Copy to Clipboard Toggle word wrap

2. OVS에서 오프로드가 활성화되어 있는지 확인합니다.

   # ovs-vsctl get Open_vSwitch . other_config:hw-offload
   “true”

   Copy to Clipboard Toggle word wrap

절차

1. switchdev-enabled NIC에서 포트를 할당하려면 admin 사용자로 로그인하고, binding-profile 값을 사용하여 neutron 포트를 생성하고 포트 보안을 비활성화합니다.

   $ openstack port create --network private --vnic-type=direct --binding-profile '{"capabilities": ["switchdev"]}' direct_port1 --disable-port-security

   Copy to Clipboard Toggle word wrap

2. 인스턴스를 생성할 때 이 포트 정보를 전달합니다.

   대표 포트를 인스턴스 VF 인터페이스와 연결하고 일회성 OVS 데이터 경로 처리를 위해 대표 포트를 OVS 브리지 br-int 에 연결합니다. VF 포트는 물리적 "패치 패널" 프런트 엔드의 소프트웨어 버전과 같이 작동합니다.

   새 인스턴스 생성에 대한 자세한 내용은 SR-IOV 용 인스턴스 배포를 참조하십시오.

절차

1. director를 사용하여 OVS에 다음 설정을 적용합니다.

   $ sudo ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

   Copy to Clipboard Toggle word wrap
2. HW 오프로드를 활성화하려면 다시 시작합니다.

프로세스

1. 다음 구성을 적용합니다. tc-policy 를 명시적으로 구성하지 않는 경우 기본 옵션입니다.

   $ sudo ovs-vsctl set Open_vSwitch . other_config:tc-policy=none

   Copy to Clipboard Toggle word wrap
2. OVS를 다시 시작합니다.

절차

1. 배포하는 동안 호스트 네트워크 구성 툴 os-net-config 를 사용하여 hw-tc-offload 를 활성화합니다.
2. 컴퓨팅 노드를 재부팅할 때마다 sriov_config 서비스에서 hw-tc-offload 를 활성화합니다.

3. 본딩에 연결된 NIC의 hw-tc-offload 매개변수를 on 으로 설정합니다.

   [root@overcloud-computesriov-0 ~]# ethtool -k ens1f0 | grep tc-offload
   hw-tc-offload: on

   Copy to Clipboard Toggle word wrap

절차

1. HW 오프로드에 사용하는 인터페이스에 대해 eswitch 모드를 switchdev 로 설정합니다.
2. 호스트 네트워크 구성 툴 os-net-config 를 사용하여 배포 중에 eswitch 를 활성화합니다.

3. 컴퓨팅 노드를 재부팅할 때마다 sriov_config 서비스에서 eswitch 를 활성화합니다.

   [root@overcloud-computesriov-0 ~]# devlink dev eswitch show pci/$(ethtool -i ens1f0 | grep bus-info | cut -d ':' -f 2,3,4 | awk '{$1=$1};1')

   Copy to Clipboard Toggle word wrap

절차

1. Broadcom 칩 테이블 콘텐츠를 가져오려면 bcmcmd 명령을 사용합니다.

   root@dni-7448-26:~# cl-bcmcmd l2 show
   
   mac=00:02:00:00:00:08 vlan=2000 GPORT=0x2 modid=0 port=2/xe1
   mac=00:02:00:00:00:09 vlan=2000 GPORT=0x2 modid=0 port=2/xe1 Hit

   Copy to Clipboard Toggle word wrap

2. TC(트래픽 제어) 계층을 검사합니다.

   # tc -s filter show dev p5p1_1 ingress
   …
   filter block 94 protocol ip pref 3 flower chain 5
   filter block 94 protocol ip pref 3 flower chain 5 handle 0x2
     eth_type ipv4
     src_ip 172.0.0.1
     ip_flags nofrag
     in_hw in_hw_count 1
           action order 1: mirred (Egress Redirect to device eth4) stolen
           index 3 ref 1 bind 1 installed 364 sec used 0 sec
           Action statistics:
           Sent 253991716224 bytes 169534118 pkt (dropped 0, overlimits 0 requeues 0)
           Sent software 43711874200 bytes 30161170 pkt
           Sent hardware 210279842024 bytes 139372948 pkt
           backlog 0b 0p requeues 0
           cookie 8beddad9a0430f0457e7e78db6e0af48
           no_percpu

   Copy to Clipboard Toggle word wrap
3. 이 출력에서 in_hw 플래그 및 통계를 검사합니다. 하드웨어라는 용어는 하드웨어 가 네트워크 트래픽을 처리함을 나타냅니다. tc-policy=none 을 사용하는 경우 이 출력 또는 tcpdump를 확인하여 하드웨어 또는 소프트웨어가 패킷을 처리할 때 조사할 수 있습니다. 드라이버가 패킷을 오프로드할 수 없는 경우 dmesg 또는 ovs-vswitch.log 에서 해당 로그 메시지를 볼 수 있습니다.

4. 예: Mellanox의 경우 로그 항목은 dmesg 의 syndrome 메시지와 유사합니다.

   [13232.860484] mlx5_core 0000:3b:00.0: mlx5_cmd_check:756:(pid 131368): SET_FLOW_TABLE_ENTRY(0x936) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0x6b1266)

   Copy to Clipboard Toggle word wrap

   이 예에서 오류 코드 (0x6b1266)는 다음 동작을 나타냅니다.

   0x6B1266 |  set_flow_table_entry: pop vlan and forward to uplink is not allowed

   Copy to Clipboard Toggle word wrap

절차

1. 시스템에서 SR-IOV 및 VT-d가 활성화되어 있는지 확인합니다.
2. GRUB을 사용하여 커널 매개 변수에 intel_iommu=on 을 추가하여 Linux에서 IOMMU를 활성화합니다.

절차

1. 오프로드 모듈에서 로깅하고 이 오류에 대한 추가 로그 정보를 얻으려면 컴퓨팅 노드에서 다음 명령을 사용하십시오.

   ovs-appctl vlog/set dpif_netlink:file:dbg
   # Module name changed recently (check based on the version used
   ovs-appctl vlog/set netdev_tc_offloads:file:dbg [OR] ovs-appctl vlog/set netdev_offload_tc:file:dbg
   ovs-appctl vlog/set tc:file:dbg

   Copy to Clipboard Toggle word wrap

2. ovs-vswitchd 로그를 다시 검사하여 문제에 대한 추가 세부 정보를 확인합니다.

   다음 예제 로그에서는 지원되지 않는 속성 표시로 인해 오프로드가 실패했습니다.

    2020-01-31T06:22:11.218Z|00471|dpif_netlink(handler402)|DBG|system@ovs-system: put[create] ufid:61bd016e-eb89-44fc-a17e-958bc8e45fda recirc_id(0),dp_hash(0/0),skb_priority(0/0),in_port(7),skb_mark(0),ct_state(0/0),ct_zone(0/0),ct_mark(0/0),ct_label(0/0),eth(src=fa:16:3e:d2:f5:f3,dst=fa:16:3e:c4:a3:eb),eth_type(0x0800),ipv4(src=10.1.1.8/0.0.0.0,dst=10.1.1.31/0.0.0.0,proto=1/0,tos=0/0x3,ttl=64/0,frag=no),icmp(type=0/0,code=0/0), actions:set(tunnel(tun_id=0x3d,src=10.10.141.107,dst=10.10.141.124,ttl=64,tp_dst=4789,flags(df|key))),6
   
   2020-01-31T06:22:11.253Z|00472|netdev_tc_offloads(handler402)|DBG|offloading attribute pkt_mark isn't supported
   
   2020-01-31T06:22:11.257Z|00473|dpif_netlink(handler402)|ERR|failed to offload flow: Operation not supported: p6p1_5

   Copy to Clipboard Toggle word wrap

프로세스

1. 플레이버를 만듭니다.

   $ openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   Copy to Clipboard Toggle word wrap
   작은 정보

   플레이버에 spec hw:pci_numa_affinity_policy 를 추가하여 PCI 패스스루 장치 및 SR-IOV 인터페이스에 대한 NUMA 선호도 정책을 지정할 수 있습니다. 자세한 내용은 Compute Service for Instance Creation 가이드의 플레이버 메타데이터 를 참조하십시오.

2. 네트워크를 만듭니다.

   $ openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   $ openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

   Copy to Clipboard Toggle word wrap

3. 포트를 만듭니다.

   • vnic-type direct 를 사용하여 SR-IOV 가상 기능(VF) 포트를 생성합니다.

     $ openstack port create --network net1 --vnic-type direct sriov_port

     Copy to Clipboard Toggle word wrap

   • 다음 명령을 사용하여 하드웨어 오프로드와 함께 가상 기능을 생성합니다. --binding-profile 을 설정하려면 관리자여야 합니다.

     $ openstack port create --network net1 --vnic-type direct --binding-profile '{"capabilities": ["switchdev"]} sriov_hwoffload_port

     Copy to Clipboard Toggle word wrap

   • vnic-type direct-physical 를 사용하여 단일 인스턴스 전용 SR-IOV 물리적 기능(PF) 포트를 생성합니다. 이 PF 포트는 Networking 서비스(neutron) 포트이지만 Networking 서비스에 의해 제어되지 않으며, 인스턴스에 전달되는 PCI 장치이므로 네트워크 어댑터로 표시되지 않습니다.

     $ openstack port create --network net1 --vnic-type direct-physical sriov_port

     Copy to Clipboard Toggle word wrap

4. 인스턴스를 배포합니다.

   $ openstack server create --flavor <flavor> --image <image> --nic port-id=<id> <instance name>

   Copy to Clipboard Toggle word wrap

프로세스

1. 배포 템플릿에서 parameter_defaults 아래의 heat 매개변수 NovaSchedulerEnabledFilters 를 통해 AggregateInstanceExtraSpecsFilter 값과 기타 필요한 필터를 구성할 수 있습니다.

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AggregateInstanceExtraSpecsFilter
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   Copy to Clipboard Toggle word wrap
   참고

   이 매개변수를 기존 클러스터 구성에 추가하려면 heat 템플릿에 추가하고 원래 배포 스크립트를 다시 실행할 수 있습니다.

2. SR-IOV에 대한 집계 그룹을 생성하고 관련 호스트를 추가합니다. 정의된 플레이버 메타데이터와 일치하는 메타데이터(예: sriov=true )를 정의합니다.

   # openstack aggregate create sriov_group
   # openstack aggregate add host sriov_group compute-sriov-0.localdomain
   # openstack aggregate set --property sriov=true sriov_group

   Copy to Clipboard Toggle word wrap

3. 플레이버를 만듭니다.

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   Copy to Clipboard Toggle word wrap

4. 추가 플레이버 속성을 설정합니다. 정의된 메타데이터 sriov=true 는 SR-IOV 집계의 정의된 메타데이터와 일치합니다.

   # openstack flavor set --property sriov=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB <flavor>

   Copy to Clipboard Toggle word wrap

1. usr/share/openstack-tripleo-heat-templates/plan-samples/plan-environment-derived-params.yaml 파일을 로컬 디렉터리로 복사하고 환경에 맞게 입력 매개변수를 설정합니다.

     workflow_parameters:
       tripleo.derive_params.v1.derive_parameters:
         EmptyEmpty# DPDK Parameters Empty#
         # Specifies the minimum number of CPU physical cores to be allocated for DPDK
         # PMD threads. The actual allocation will be based on network config, if
         # the a DPDK port is associated with a numa node, then this configuration
         # will be used, else 1.
         num_phy_cores_per_numa_node_for_pmd: 1
         # Amount of memory to be configured as huge pages in percentage. Ouf the
         # total available memory (excluding the NovaReservedHostMemory), the
         # specified percentage of the remaining is configured as huge pages.
         huge_page_allocation_percentage: 50

   Copy to Clipboard Toggle word wrap

2. openstack overcloud deploy 명령을 실행하고 다음 정보를 포함합니다.

   • update-plan-only 옵션
   • 사용자 환경과 관련된 역할 파일 및 모든 환경 파일

   • --plan-environment-file 선택적 인수가 있는 plan-environment-derived-parms.yaml 파일

     $ openstack overcloud deploy --templates --update-plan-only \
     -r /home/stack/roles_data.yaml \
     -e /home/stack/<environment-file> \
     ... _#repeat as necessary_ ...
     **-p /home/stack/plan-environment-derived-params.yaml**

     Copy to Clipboard Toggle word wrap

1. 배포 명령 출력에서 파생된 매개 변수를 network-environment.yaml 파일에 복사합니다.

     # DPDK compute node.
     ComputeOvsDpdkParameters:
       KernelArgs: default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "1,2,3,4,5,6,7,9,10,17,18,19,20,21,22,23,11,12,13,14,15,25,26,27,28,29,30,31"
       NovaComputeCpuDedicatedSet: ['2,3,4,5,6,7,18,19,20,21,22,23,10,11,12,13,14,15,26,27,28,29,30,31']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "1024,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "1,17,9,25"

   Copy to Clipboard Toggle word wrap
   참고

   이러한 매개변수는 특정 역할 ComputeOvsDpdk에 적용됩니다. 이러한 매개변수를 전역적으로 적용할 수 있지만 역할별 매개변수는 글로벌 매개변수를 덮어씁니다.

2. 역할 파일 및 사용자 환경과 관련된 모든 환경 파일을 사용하여 오버클라우드를 배포합니다.

1. 구성 가능 역할을 사용하는 경우 roles_data.yaml 파일을 복사하고 수정하여 OVS-DPDK의 사용자 지정 역할을 추가합니다.
2. 커널 인수 및 DPDK 인수에 대한 매개변수를 포함하도록 적절한 network-environment.yaml 파일을 업데이트합니다.
3. DPDK 인터페이스 매개변수에 대한 브릿지를 포함하도록 compute.yaml 파일을 업데이트합니다.
4. DPDK 인터페이스 매개변수에 대한 동일한 브릿지 세부 정보를 포함하도록 controller.yaml 파일을 업데이트합니다.
5. overcloud_deploy.sh 스크립트를 실행하여 DPDK 매개변수로 오버클라우드를 배포합니다.

1. network-environment.yaml 파일에서 NeutronGlobalPhysnetMtu 매개변수를 설정합니다.

   parameter_defaults:
     # MTU global configuration
     NeutronGlobalPhysnetMtu: 9000

   Copy to Clipboard Toggle word wrap
   참고

   network-environment.yaml 파일의 OvsDpdkSocketMemory 값이 점보 프레임을 지원할 수 있을 만큼 충분히 큰지 확인합니다. 자세한 내용은 메모리 매개변수를 참조하십시오.

2. 브리지의 MTU 값을 controller.yaml 파일의 컴퓨팅 노드로 설정합니다.

     -
       type: ovs_bridge
       name: br-link0
       use_dhcp: false
       members:
         -
           type: interface
           name: nic3
           mtu: 9000

   Copy to Clipboard Toggle word wrap

3. compute.yaml 파일에서 OVS-DPDK 본딩의 MTU 값을 설정합니다.

   - type: ovs_user_bridge
     name: br-link0
     use_dhcp: false
     members:
       - type: ovs_dpdk_bond
         name: dpdkbond0
         mtu: 9000
         rx_queue: 2
         members:
           - type: ovs_dpdk_port
             name: dpdk0
             mtu: 9000
             members:
               - type: interface
                 name: nic4
           - type: ovs_dpdk_port
             name: dpdk1
             mtu: 9000
             members:
               - type: interface
                 name: nic5

   Copy to Clipboard Toggle word wrap

프로세스

1. baremetal_deployment.yaml 파일 또는 사용자 정의 파일에서 다음 baremetal 노드 사전 프로비저닝 매개변수를 설정합니다.

   pmd_auto_lb

   PMD 자동 로드 밸런싱을 활성화하려면 true 로 설정합니다.

   pmd_load_threshold

   PMD 스레드 중 하나가 PMD 로드 밸런싱을 트리거하기 전에 일관되게 사용해야 하는 처리 사이클의 백분율입니다. 정수, 범위 0-100.

   pmd_improvement_threshold

   PMD 자동 로드 밸런싱을 트리거하는 격리되지 않은 PMD 스레드에서 평가된 개선의 최소 백분율입니다. 정수, 범위 0-100.

   예상 개선을 계산하기 위해 재할당의 예행 실행이 수행되고 예상 부하 분산이 현재 분산과 비교됩니다. 기본값은 25%입니다.

   pmd_rebal_interval

   연속된 2개의 PMD 자동 로드 밸런싱 작업 사이의 최소 시간(분)입니다. 범위 0-20,000분.

   트래픽 패턴이 변경될 수 있는 자주 재할당을 트리거하지 않도록 이 값을 구성합니다. 예를 들어 10분마다 또는 몇 시간마다 한 번씩 재할당을 트리거할 수 있습니다.

   예

   ansible_playbooks:
   …
     - playbook: /usr/share/ansible/tripleo-playbooks/cli-overcloud-openvswitch-dpdk.yaml
     extra_vars:
      …
      pmd_auto_lb: true
      pmd_load_threshold: "70"
      pmd_improvement_threshold: "25"
      pmd_rebal_interval: "2"

   Copy to Clipboard Toggle word wrap

2. 다음 예와 같이 openstack overcloud node provision 명령에 baremetal 배포 파일을 포함합니다.

   예

    openstack overcloud node provision \
       --stack overcloud \
       --network-config \
       --templates /usr/share/openstack-tripleo-heat-templates \
       --output ~/templates/overcloud-baremetal-deployed.yaml   \
       home/stack/$OSP17REF/network/baremetal_deployment.yaml

   Copy to Clipboard Toggle word wrap

3. dpdk-config.yaml 또는 사용자 정의 파일에서 다음 오버클라우드 배포 매개변수를 설정합니다.

   OvsPmdAutoLb

   Heat equivalent of pmd_auto_lb.

   PMD 자동 로드 밸런싱을 활성화하려면 true 로 설정합니다.

   OvsPmdLoadThreshold

   pmd_load_threshold 와 동등한 heat입니다.

   PMD 스레드 중 하나가 PMD 로드 밸런싱을 트리거하기 전에 일관되게 사용해야 하는 처리 사이클의 백분율입니다. 정수, 범위 0-100.

   OvsPmdImprovementThreshold

   pmd_improvement_threshold.

   PMD 자동 로드 밸런싱을 트리거하는 격리되지 않은 PMD 스레드에서 평가된 개선의 최소 백분율입니다. 정수, 범위 0-100.

   예상 개선을 계산하기 위해 재할당의 예행 실행이 수행되고 예상 부하 분산이 현재 분산과 비교됩니다. 기본값은 25%입니다.

   OvsPmdRebalInterval

   Heat equivalent of pmd_rebal_interval.

   연속된 2개의 PMD 자동 로드 밸런싱 작업 사이의 최소 시간(분)입니다. 범위 0-20,000분.

   트래픽 패턴이 변경될 수 있는 자주 재할당을 트리거하지 않도록 이 값을 구성합니다. 예를 들어 10분마다 또는 몇 시간마다 한 번씩 재할당을 트리거할 수 있습니다.

   예

   parameter_merge_strategies:
     ComputeOvsDpdkSriovParameters:merge
   …
   parameter_defaults:
     ComputeOvsDpdkSriovParameters:
      …
      OvsPmdAutoLb: true
      OvsPmdLoadThreshold: 70
      OvsPmdImprovementThreshold: 25
      OvsPmdRebalInterval: 2

   Copy to Clipboard Toggle word wrap

4. dpdk-config.yaml 또는 dpdk 구성 파일을 다른 환경 파일과 함께 스택에 추가하고 오버클라우드를 배포합니다.

   예

   (undercloud)$ openstack overcloud deploy --templates \
   -e <your_environment_files> \
   -e /home/stack/templates/dpdk-config.yaml

   Copy to Clipboard Toggle word wrap

1. 집계 그룹을 생성하고 OVS-DPDK에 대한 관련 호스트를 추가합니다. 정의된 플레이버 메타데이터와 일치하는 메타데이터(예: dpdk=true )를 정의합니다.

    # openstack aggregate create dpdk_group
    # openstack aggregate add host dpdk_group [compute-host]
    # openstack aggregate set --property dpdk=true dpdk_group

   Copy to Clipboard Toggle word wrap
   참고

   고정된 CPU 인스턴스는 고정되지 않은 인스턴스와 동일한 컴퓨팅 노드에 있을 수 있습니다. 자세한 내용은 Compute Service for Instance Creation 가이드의 컴퓨팅 노드에서 CPU 고정 구성 을 참조하십시오.

2. 플레이버를 만듭니다.

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   Copy to Clipboard Toggle word wrap

3. 플레이버 속성을 설정합니다. 정의된 메타데이터 dpdk=true 는 DPDK 집계에서 정의된 메타데이터와 일치합니다.

   # openstack flavor set <flavor> --property dpdk=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB --property hw:emulator_threads_policy=isolate

   Copy to Clipboard Toggle word wrap

   성능 향상을 위한 에뮬레이터 스레드 정책에 대한 자세한 내용은 Configuring the Compute Service for Instance Creation 가이드의 에뮬레이터 스레드 구성을 참조하십시오.

4. 네트워크를 만듭니다.

   # openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   # openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

   Copy to Clipboard Toggle word wrap

5. 선택 사항: OVS-DPDK와 함께 다중 큐를 사용하는 경우 인스턴스를 생성하는 데 사용할 이미지에 hw_vif_multiqueue_enabled 속성을 설정합니다.

   # openstack image set --property hw_vif_multiqueue_enabled=true <image>

   Copy to Clipboard Toggle word wrap

6. 인스턴스를 배포합니다.

   # openstack server create --flavor <flavor> --image <glance image> --nic net-id=<network ID> <server_name>

   Copy to Clipboard Toggle word wrap

1. 브리지 구성을 검토하고 브리지에 datapath_type=netdev 가 있는지 확인합니다.

   # ovs-vsctl list bridge br0
   _uuid               : bdce0825-e263-4d15-b256-f01222df96f3
   auto_attach         : []
   controller          : []
   datapath_id         : "00002608cebd154d"
   datapath_type       : netdev
   datapath_version    : "<built-in>"
   external_ids        : {}
   fail_mode           : []
   flood_vlans         : []
   flow_tables         : {}
   ipfix               : []
   mcast_snooping_enable: false
   mirrors             : []
   name                : "br0"
   netflow             : []
   other_config        : {}
   ports               : [52725b91-de7f-41e7-bb49-3b7e50354138]
   protocols           : []
   rstp_enable         : false
   rstp_status         : {}
   sflow               : []
   status              : {}
   stp_enable          : false

   Copy to Clipboard Toggle word wrap

2. 선택적으로 컨테이너가 시작되지 않는 경우와 같이 오류 로그를 볼 수 있습니다.

   # less /var/log/containers/neutron/openvswitch-agent.log

   Copy to Clipboard Toggle word wrap

3. ovs-dpdk 의 Poll Mode 드라이버 CPU 마스크가 CPU에 고정되어 있는지 확인합니다. 하이퍼 스레딩의 경우 형제 CPU를 사용합니다.

   예를 들어 CPU4 의 형제를 확인하려면 다음 명령을 실행합니다.

   # cat /sys/devices/system/cpu/cpu4/topology/thread_siblings_list
   4,20

   Copy to Clipboard Toggle word wrap

   CPU4 의 형제는 CPU20 이므로 다음 명령을 진행합니다.

   # ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x100010

   Copy to Clipboard Toggle word wrap

   상태를 표시합니다.

   # tuna -t ovs-vswitchd -CP
   thread  ctxt_switches pid SCHED_ rtpri affinity voluntary nonvoluntary       cmd
   3161	OTHER 	0    	6	765023      	614	ovs-vswitchd
   3219   OTHER 	0    	6     	1        	0   	handler24
   3220   OTHER 	0    	6     	1        	0   	handler21
   3221   OTHER 	0    	6     	1        	0   	handler22
   3222   OTHER 	0    	6     	1        	0   	handler23
   3223   OTHER 	0    	6     	1        	0   	handler25
   3224   OTHER 	0    	6     	1        	0   	handler26
   3225   OTHER 	0    	6     	1        	0   	handler27
   3226   OTHER 	0    	6     	1        	0   	handler28
   3227   OTHER 	0    	6     	2        	0   	handler31
   3228   OTHER 	0    	6     	2        	4   	handler30
   3229   OTHER 	0    	6     	2        	5   	handler32
   3230   OTHER 	0    	6	953538      	431   revalidator29
   3231   OTHER 	0    	6   1424258      	976   revalidator33
   3232   OTHER 	0    	6   1424693      	836   revalidator34
   3233   OTHER 	0    	6	951678      	503   revalidator36
   3234   OTHER 	0    	6   1425128      	498   revalidator35
   *3235   OTHER 	0    	4	151123       	51       	pmd37*
   *3236   OTHER 	0   	20	298967       	48       	pmd38*
   3164   OTHER 	0    	6 	47575        	0  dpdk_watchdog3
   3165   OTHER 	0    	6	237634        	0   vhost_thread1
   3166   OTHER 	0    	6  	3665        	0       	urcu2

   Copy to Clipboard Toggle word wrap

절차

1. 지정된 역할에 대해 NovaComputeCpuSharedSet 이 정의된 오버클라우드를 배포합니다. NovaComputeCpuSharedSet 의 값은 해당 역할 내의 호스트에 대한 nova.conf 파일의 cpu_shared_set 매개변수에 적용됩니다.

   parameter_defaults:
       ComputeOvsDpdkParameters:
           NovaComputeCpuSharedSet: "0-1,16-17"
           NovaComputeCpuDedicatedSet: "2-15,18-31"

   Copy to Clipboard Toggle word wrap

2. 플레이버를 만들어 에뮬레이터 스레드가 공유 풀로 구분된 인스턴스를 빌드합니다.

   openstack flavor create --ram <size_mb> --disk <size_gb> --vcpus <vcpus> <flavor>

   Copy to Clipboard Toggle word wrap

3. hw:emulator_threads_policy 추가 사양을 추가하고, 공유할 값을 설정합니다. 이 플레이버로 생성된 인스턴스는 nova.conf 파일의 cpu_share_set 매개변수에 정의된 인스턴스 CPU를 사용합니다.

   openstack flavor set <flavor> --property hw:emulator_threads_policy=share

   Copy to Clipboard Toggle word wrap

검증

1. 지정된 인스턴스의 호스트 및 이름을 식별합니다.

   openstack server show <instance_id>

   Copy to Clipboard Toggle word wrap

2. SSH를 사용하여 식별된 호스트에 tripleo-admin으로 로그인합니다.

   ssh tripleo-admin@compute-1
   [compute-1]$ sudo virsh dumpxml instance-00001 | grep `'emulatorpin cpuset'`

   Copy to Clipboard Toggle word wrap

1. parameter_defaults 섹션에 NeutronPhysicalDevMappings 매개변수를 추가하여 논리 네트워크 이름과 물리적 인터페이스 간의 연결을 설정합니다.

   parameter_defaults:
     NeutronPhysicalDevMappings:
       - sriov2:p5p2

   Copy to Clipboard Toggle word wrap

2. 신뢰할 수 있는 새 속성을 SR-IOV 매개변수에 추가합니다.

   parameter_defaults:
     NeutronPhysicalDevMappings:
       - sriov2:p5p2
     NovaPCIPassthrough:
       - vendor_id: "8086"
         product_id: "1572"
         physical_network: "sriov2"
         trusted: "true"

   Copy to Clipboard Toggle word wrap
   참고

   "true" 값 주위에 큰따옴표를 포함해야 합니다.

1. vlan 유형의 네트워크를 만듭니다.

   openstack network create trusted_vf_network  --provider-network-type vlan \
    --provider-segment 111 --provider-physical-network sriov2 \
    --external --disable-port-security

   Copy to Clipboard Toggle word wrap

2. 서브넷을 만듭니다.

   openstack subnet create --network trusted_vf_network \
     --ip-version 4 --subnet-range 192.168.111.0/24 --no-dhcp \
    subnet-trusted_vf_network

   Copy to Clipboard Toggle word wrap

3. 포트를 생성합니다. vnic-type 옵션을 direct 로 설정하고 binding-profile 옵션을 true 로 설정합니다.

   openstack port create --network sriov111 \
   --vnic-type direct --binding-profile trusted=true \
   sriov111_port_trusted

   Copy to Clipboard Toggle word wrap

4. 인스턴스를 생성하고 이전에 생성한 신뢰할 수 있는 포트에 바인딩합니다.

   openstack server create --image rhel --flavor dpdk  --network internal --port trusted_vf_network_port_trusted --config-drive True --wait rhel-dpdk-sriov_trusted

   Copy to Clipboard Toggle word wrap

1. 인스턴스를 생성한 컴퓨팅 노드에서 다음 명령을 입력합니다.

   # ip link
   7: p5p2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether b4:96:91:1c:40:fa brd ff:ff:ff:ff:ff:ff
       vf 6 MAC fa:16:3e:b8:91:c2, vlan 111, spoof checking off, link-state auto, trust on, query_rss off
       vf 7 MAC fa:16:3e:84:cf:c8, vlan 111, spoof checking off, link-state auto, trust off, query_rss off

   Copy to Clipboard Toggle word wrap
2. VF의 신뢰 상태가 신뢰할 수 있는지 확인합니다. 예제 출력에는 두 개의 포트가 포함된 환경에 대한 세부 정보가 포함되어 있습니다. vf 6 에는 에 대한 텍스트 신뢰가 포함되어 있습니다.
3. Networking 서비스(neutron) 네트워크에서 port_security_enabled: false 를 설정하거나 openstack port create 명령을 실행할 때 --disable-port-security 인수를 포함하는 경우 스푸핑 검사를 비활성화할 수 있습니다.

프로세스

1. 언더클라우드 호스트에 stack 사용자로 로그인합니다.

2. stackrc 언더클라우드 인증 정보 파일을 소싱합니다.

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 사용자 지정 환경 YAML 파일을 생성하고 parameter_defaults 아래에 다음 정의를 추가하여 RX 및 TX 큐 크기를 늘립니다.

   parameter_defaults:
     NovaLibvirtRxQueueSize: 1024
     NovaLibvirtTxQueueSize: 1024

   Copy to Clipboard Toggle word wrap

4. 배포 명령을 실행하고 코어 heat 템플릿, 기타 환경 파일, RX 및 TX 큐 크기 변경 사항이 포함된 환경 파일을 포함합니다.

   예

   $ openstack overcloud deploy --templates \
   -e <other_environment_files> \
   -e /home/stack/my_tx-rx_queue_sizes.yaml

   Copy to Clipboard Toggle word wrap

검증

1. nova.conf 파일에서 RX 큐 크기 및 TX 대기열 크기의 값을 관찰합니다.

   $ egrep "^[rt]x_queue_size" /var/lib/config-data/puppet-generated/\
   nova_libvirt/etc/nova/nova.conf

   Copy to Clipboard Toggle word wrap

   다음이 표시되어야 합니다.

   rx_queue_size=1024
   tx_queue_size=1024

   Copy to Clipboard Toggle word wrap

2. Compute 호스트의 libvirt에서 생성된 VM 인스턴스 XML 파일에서 RX 큐 크기 및 TX 큐 크기의 값을 확인합니다.

   1. 새 인스턴스를 만듭니다.

   2. 컴퓨팅 호스트 및 인스턴스 이름을 가져옵니다.

      $ openstack server show testvm-queue-sizes -c OS-EXT-SRV-ATTR:\
      hypervisor_hostname -c OS-EXT-SRV-ATTR:instance_name

      Copy to Clipboard Toggle word wrap

      샘플 출력

      출력은 다음과 유사합니다.

      +-------------------------------------+------------------------------------+
      | Field                               | Value                              |
      +-------------------------------------+------------------------------------+
      | OS-EXT-SRV-ATTR:hypervisor_hostname | overcloud-novacompute-1.sales      |
      | OS-EXT-SRV-ATTR:instance_name       | instance-00000059                  |
      +-------------------------------------+------------------------------------+

      Copy to Clipboard Toggle word wrap

   3. Compute 호스트에 로그인하고 인스턴스 정의를 덤프합니다.

      예

      $ podman exec nova_libvirt virsh dumpxml instance-00000059

      Copy to Clipboard Toggle word wrap

      샘플 출력

      출력은 다음과 유사합니다.

      ...
         <interface type='vhostuser'>
           <mac address='56:48:4f:4d:5e:6f'/>
           <source type='unix' path='/tmp/vhost-user1' mode='server'/>
           <model type='virtio'/>
           <driver name='vhost' rx_queue_size='1024'   tx_queue_size='1024' />
           <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/>
         </interface>
      ...

      Copy to Clipboard Toggle word wrap

프로세스

1. 새 NeutronPhysnetNUMANodesMapping 매개변수를 설정하여 물리적 네트워크를 물리적 네트워크와 연결하는 NUMA 노드에 매핑합니다.

2. VxLAN 또는 GRE와 같은 터널을 사용하는 경우 NeutronTunnelNUMANodes 매개변수도 설정해야 합니다.

   parameter_defaults:
     NeutronPhysnetNUMANodesMapping: {<physnet_name>: [<NUMA_NODE>]}
     NeutronTunnelNUMANodes: <NUMA_NODE>,<NUMA_NODE>

   Copy to Clipboard Toggle word wrap

   예

   다음은 NUMA 노드 0으로 터널링된 두 개의 물리적 네트워크가 있는 예입니다.

   • NUMA 노드 0과 연결된 프로젝트 네트워크 1개

   • 유사성이 없는 하나의 관리 네트워크

     parameter_defaults:
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysnetNUMANodesMapping: {tenant: [1], mgmt: [0,1]}
       NeutronTunnelNUMANodes: 0

     Copy to Clipboard Toggle word wrap

   • 이 예에서는 eno2 라는 장치의 physnet을 NUMA 번호 0에 할당합니다.

     # ethtool -i eno2
     bus-info: 0000:18:00.1
     
     # cat /sys/devices/pci0000:16/0000:16:02.0/0000:18:00.1/numa_node
     0

     Copy to Clipboard Toggle word wrap

     예제 heat 템플릿에서 physnet 설정을 확인합니다.

     NeutronBridgeMappings: 'physnet1:br-physnet1'
     NeutronPhysnetNUMANodesMapping: {physnet1: [0] }
     
     - type: ovs_user_bridge
                     name: br-physnet1
                     mtu: 9000
                     members:
                       - type: ovs_dpdk_port
                         name: dpdk2
                         members:
                           - type: interface
                             name: eno2

     Copy to Clipboard Toggle word wrap

1. /var/lib/config-data/puppet-generated/nova_libvirt/etc/nova/nova.conf 파일의 구성을 확인합니다.

   [neutron_physnet_tenant]
   numa_nodes=1
   [neutron_tunnel]
   numa_nodes=1

   Copy to Clipboard Toggle word wrap

2. lscpu 명령을 사용하여 새 구성을 확인합니다.

   $ lscpu

   Copy to Clipboard Toggle word wrap
3. 적절한 네트워크에 연결된 NIC를 사용하여 VM을 시작합니다.