23.10. 使用 DPDK 和 RDMA

流程

1. 创建以下 SriovNetworkNodePolicy 对象，然后在 intel-dpdk-node-policy.yaml 文件中保存 YAML。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: intel-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: intelnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "8086"
       deviceID: "158b"
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: vfio-pci 1

   1

   将虚拟功能（VF）的驱动器类型指定为 vfio-pci。

   注意

   如需了解 inSriovNetworkNodePolicy 的每个选项的详情，请参阅 Configuring SR-IOV network devices 部分。

   当应用由 SriovNetworkNodePolicy 对象中指定的配置时，SR-IOV Operator 可能会排空节点，并在某些情况下会重启节点。它可能需要几分钟时间来应用配置更改。确保集群中有足够的可用节点，用以预先处理被驱除的工作负载。

   应用配置更新后，openshift-sriov-network-operator 命名空间中的所有 pod 将变为 Running 状态。

2. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f intel-dpdk-node-policy.yaml

3. 创建以下 SriovNetwork 对象，然后在 intel-dpdk-network.yaml 文件中保存 YAML。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: intel-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |-
   # ... 1
     vlan: <vlan>
     resourceName: intelnics

   1

   为 ipam CNI 插件指定一个配置对象做为一个 YAML 块 scalar。该插件管理附加定义的 IP 地址分配。

   注意

   如需 SriovNetwork 中的每个选项的详细说明，请参阅"Configuring SR-IOV additional network" 部分。

   一个可选的库 app-netutil 提供了多种 API 方法来收集有关容器父 pod 的网络信息。

4. 运行以下命令来创建 SriovNetwork 对象：

   $ oc create -f intel-dpdk-network.yaml

5. 创建以下 Pod spec，然后在 intel-dpdk-pod.yaml 文件中保存 YAML。

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: intel-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           openshift.io/intelnics: "1" 5
           memory: "1Gi"
           cpu: "4" 6
           hugepages-1Gi: "4Gi" 7
         requests:
           openshift.io/intelnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   指定 target_namespace，它与 SriovNetwork 对象 intel-dpdk-network 创建于的命令空间相同。如果要在其他命名空间中创建 pod，在 Pod spec 和 SriovNetwork 对象中更改 target_namespace。

   2

   指定包含应用程序和应用程序使用的 DPDK 库的 DPDK 镜像。

   3

   指定容器内的应用程序进行大页分配、系统资源分配和网络接口访问所需的额外功能。

   4

   在 /mnt/huge 下将巨页卷挂载到 DPDK pod。巨页卷由 emptyDir 卷类型支持，medium 为Hugepages。

   5

   可选：指定分配给 DPDK pod 的 DPDK 设备数。如果未明确指定，则此资源请求和限制将被 SR-IOV 网络资源注入程序自动添加。SR-IOV 网络资源注入程序是由 SR-IOV Operator 管理的准入控制器组件。它默认是启用的，可以通过把默认的 SriovOperatorConfig CR 中的 enableInjector 选项设置为 false 来禁用它。

   6

   指定 CPU 数量。DPDK pod 通常需要从 kubelet 分配专用 CPU。这可以通过将 CPU Manager 策略设置为 static，并创建带有有保障的 QoS 的 pod 来实现。

   7

   指定巨页大小 hugepages-1Gi 或 hugepages-2Mi 以及分配给 DPDK pod 的巨页数量。单独配置 2Mi 和 1Gi 巨页。配置 1Gi 巨页需要在节点中添加内核参数。例如：添加内核参数 default_hugepagesz=1GB，hugepagesz=1G 和 hugepages=16 将在系统引导时分配 16*1Gi 巨页。

6. 运行以下命令来创建 DPDK pod:

   $ oc create -f intel-dpdk-pod.yaml

流程

1. 将以下 SriovNetworkNodePolicy YAML 配置保存到 mlx-dpdk-node-policy.yaml 文件中：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 1
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 2
     isRdma: true 3

   1

   指定 SR-IOV 网络设备的设备十六进制代码。

   2

   指定到 netdevice 的虚拟功能（VF）的驱动器类型。Mellanox SR-IOV 虚拟功能 (VF) 可以在 DPDK 模式下工作，而无需使用 vfio-pci 设备类型。VF 设备作为容器内的内核网络接口显示。

   3

   启用远程直接内存访问 (RDMA) 模式。Mellanox 卡需要在 DPDK 模式下工作。

   注意

   如需了解 SriovNetworkNodePolicy 对象中的每个选项的详细说明，请参阅配置 SR-IOV 网络设备。

   当应用由 SriovNetworkNodePolicy 对象中指定的配置时，SR-IOV Operator 可能会排空节点，并在某些情况下会重启节点。它可能需要几分钟时间来应用配置更改。确保集群中有足够的可用节点，用以预先处理被驱除的工作负载。

   应用配置更新后，openshift-sriov-network-operator 命名空间中的所有 pod 将变为 Running 状态。

2. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f mlx-dpdk-node-policy.yaml

3. 将以下 SriovNetwork YAML 配置保存到 mlx-dpdk-network.yaml 文件中：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 1
   ...
     vlan: <vlan>
     resourceName: mlxnics

   1

   为 IP 地址管理 (IPAM) Container Network Interface (CNI) 插件指定一个配置对象作为 YAML 块 scalar。该插件管理附加定义的 IP 地址分配。

   注意

   如需了解 SriovNetwork 对象中的每个选项的详细说明，请参阅配置 SR-IOV 网络设备。

   app-netutil 选项库提供了几个 API 方法，用于收集有关容器父 pod 的网络信息。

4. 运行以下命令来创建 SriovNetwork 对象：

   $ oc create -f mlx-dpdk-network.yaml

5. 将以下 Pod YAML 配置保存到 mlx-dpdk-pod.yaml 文件中：

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           openshift.io/mlxnics: "1" 5
           memory: "1Gi"
           cpu: "4" 6
           hugepages-1Gi: "4Gi" 7
         requests:
           openshift.io/mlxnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   指定 target_namespace，它与 SriovNetwork 对象 mlx-dpdk-network 创建于的命令空间相同。要在不同命名空间中创建 pod，在 Pod spec 和 SriovNetwork 对象中更改 target_namespace。

   2

   指定包含应用程序和应用程序使用的 DPDK 库的 DPDK 镜像。

   3

   指定容器内的应用程序进行大页分配、系统资源分配和网络接口访问所需的额外功能。

   4

   将巨页卷挂载到 /mnt/huge 下的 DPDK pod 中。巨页卷由 emptyDir 卷类型支持，介质是 Hugepages。

   5

   可选：指定分配给 DPDK pod 的 DPDK 设备数。如果没有明确指定，则 SR-IOV 网络资源注入程序会自动添加此资源请求和限制。SR-IOV 网络资源注入程序是由 SR-IOV Operator 管理的准入控制器组件。它默认是启用的，可以通过把默认的 SriovOperatorConfig CR 中的 enableInjector 选项设置为 false 来禁用它。

   6

   指定 CPU 数量。DPDK pod 通常需要从 kubelet 分配专用 CPU。要做到这一点，将 CPU Manager 策略设置为 static，并创建带有 Guaranteed 服务质量 (QoS) 的 pod。

   7

   指定巨页大小 hugepages-1Gi 或 hugepages-2Mi 以及分配给 DPDK pod 的巨页数量。单独配置 2Mi 和 1Gi 巨页。配置 1Gi 巨页需要在节点中添加内核参数。

6. 运行以下命令来创建 DPDK pod:

   $ oc create -f mlx-dpdk-pod.yaml

流程

1. 创建一个文件，如 test-namespace.yaml，其内容类似以下示例：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: test-namespace
     labels:
       pod-security.kubernetes.io/enforce: privileged
       pod-security.kubernetes.io/audit: privileged
       pod-security.kubernetes.io/warn: privileged
       security.openshift.io/scc.podSecurityLabelSync: "false"

2. 运行以下命令来创建新的 Namespace 对象：

   $ oc apply -f test-namespace.yaml

3. 创建一个文件，如 sriov-node-network-policy.yaml，内容类似以下示例：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
    name: sriovnic
    namespace: openshift-sriov-network-operator
   spec:
    deviceType: netdevice 1
    isRdma: true 2
    needVhostNet: true 3
    nicSelector:
      vendor: "15b3" 4
      deviceID: "101b" 5
      rootDevices: ["00:05.0"]
    numVfs: 10
    priority: 99
    resourceName: sriovnic
    nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"

   1

   这表示配置集是为 Mellanox Network Interface Controller (NIC) 量身定制的。

   2

   只有 Mellanox NIC 才需要将 isRdma 设置为 true。

   3

   这会将 /dev/net/tun 和 /dev/vhost-net 设备挂载到容器中，以便应用可以创建 tap 设备，并将 tap 设备连接到 DPDK 工作负载。

   4

   SR-IOV 网络设备厂商的十六进制代码。值 15b3 代表与 Mellanox NIC 关联。

   5

   SR-IOV 网络设备的设备十六进制代码。

4. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f sriov-node-network-policy.yaml

5. 创建以下 SriovNetwork 对象，然后在 sriov-network-attachment.yaml 文件中保存 YAML：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
    name: sriov-network
    namespace: openshift-sriov-network-operator
   spec:
    networkNamespace: test-namespace
    resourceName: sriovnic
    spoofChk: "off"
    trust: "on"

   注意

   如需 SriovNetwork 中的每个选项的详细说明，请参阅"Configuring SR-IOV additional network" 部分。

   一个可选的库 app-netutil 提供了多种 API 方法来收集有关容器父 pod 的网络信息。

6. 运行以下命令来创建 SriovNetwork 对象：

   $ oc create -f sriov-network-attachment.yaml

7. 创建一个文件，如 tap-example.yaml，该文件定义网络附加定义，其内容类似以下示例：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
    name: tap-one
    namespace: test-namespace 1
   spec:
    config: '{
      "cniVersion": "0.4.0",
      "name": "tap",
      "plugins": [
        {
           "type": "tap",
           "multiQueue": true,
           "selinuxcontext": "system_u:system_r:container_t:s0"
        },
        {
          "type":"tuning",
          "capabilities":{
            "mac":true
          }
        }
      ]
    }'

   1

   指定创建 SriovNetwork 对象的 target_namespace。

8. 运行以下命令来创建 NetworkAttachmentDefinition 对象：

   $ oc apply -f tap-example.yaml

9. 创建一个文件，如 dpdk-pod-rootless.yaml，其内容类似以下示例：

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: test-namespace 1
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
         {"name": "sriov-network", "namespace": "test-namespace"},
         {"name": "tap-one", "interface": "ext0", "namespace": "test-namespace"}]'
   spec:
     nodeSelector:
       kubernetes.io/hostname: "worker-0"
     securityContext:
         fsGroup: 1001 2
         runAsGroup: 1001 3
         seccompProfile:
           type: RuntimeDefault
     containers:
     - name: testpmd
       image: <DPDK_image> 4
       securityContext:
         capabilities:
           drop: ["ALL"] 5
           add: 6
             - IPC_LOCK
             - NET_RAW #for mlx only 7
         runAsUser: 1001 8
         privileged: false 9
         allowPrivilegeEscalation: true 10
         runAsNonRoot: true 11
       volumeMounts:
       - mountPath: /mnt/huge 12
         name: hugepages
       resources:
         limits:
           openshift.io/sriovnic: "1" 13
           memory: "1Gi"
           cpu: "4" 14
           hugepages-1Gi: "4Gi" 15
         requests:
           openshift.io/sriovnic: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     runtimeClassName: performance-cnf-performanceprofile 16
     volumes:
     - name: hugepages
       emptyDir:
         medium: HugePages

   1

   指定 target_namespace 创建 SriovNetwork 对象。如果要在其他命名空间中创建 pod，在 Pod spec 和 SriovNetwork 对象中更改 target_namespace。

   2

   设置在这些卷中创建的卷挂载目录和文件的组所有权。

   3

   指定用于运行容器的主要组 ID。

   4

   指定包含应用程序和应用程序使用的 DPDK 库的 DPDK 镜像。

   5

   从容器的 securityContext 中删除所有功能 (ALL) 意味着容器在正常操作之外没有特殊的特权。

   6

   指定容器内的应用程序进行大页分配、系统资源分配和网络接口访问所需的额外功能。这些功能还必须使用 setcap 命令在二进制文件中设置。

   7

   Mellanox 网络接口控制器(NIC)需要 NET_RAW 功能。

   8

   指定用于运行容器的用户 ID。

   9

   此设置表示 pod 中的容器或容器不应被授予对主机系统的特权访问权限。

   10

   此设置允许容器在可能已分配的初始非 root 特权外升级其特权。

   11

   此设置可确保容器以非 root 用户身份运行。这有助于强制实施最小特权的原则，限制对容器造成潜在的影响，并减少攻击面。

   12

   在 /mnt/huge 下将巨页卷挂载到 DPDK pod。巨页卷由 emptyDir 卷类型支持，medium 为Hugepages。

   13

   可选：指定分配给 DPDK pod 的 DPDK 设备数。如果没有明确指定，则 SR-IOV 网络资源注入程序会自动添加此资源请求和限制。SR-IOV 网络资源注入程序是由 SR-IOV Operator 管理的准入控制器组件。它默认是启用的，可以通过把默认的 SriovOperatorConfig CR 中的 enableInjector 选项设置为 false 来禁用它。

   14

   指定 CPU 数量。DPDK pod 通常需要从 kubelet 分配专用 CPU。这可以通过将 CPU Manager 策略设置为 static，并创建带有有保障的 QoS 的 pod 来实现。

   15

   指定巨页大小 hugepages-1Gi 或 hugepages-2Mi 以及分配给 DPDK pod 的巨页数量。单独配置 2Mi 和 1Gi 巨页。配置 1Gi 巨页需要在节点中添加内核参数。例如：添加内核参数 default_hugepagesz=1GB，hugepagesz=1G 和 hugepages=16 将在系统引导时分配 16*1Gi 巨页。

   16

   如果您的性能配置集没有命名为 cnf-performance profile，请将该字符串替换为正确的性能配置集名称。

10. 运行以下命令来创建 DPDK pod:

    $ oc create -f dpdk-pod-rootless.yaml

流程

1. 根据以下示例创建 PerformanceProfile 对象：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     globallyDisableIrqLoadBalancing: true
     cpu:
       isolated: 21-51,73-103 1
       reserved: 0-20,52-72 2
     hugepages:
       defaultHugepagesSize: 1G 3
       pages:
         - count: 32
           size: 1G
     net:
       userLevelNetworking: true
     numa:
       topologyPolicy: "single-numa-node"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

   1

   如果系统上启用了超线程，请分配与 isolated 和 reserved CPU 组的相关符号链接。如果系统包含多个非统一内存访问节点 (NUMA)，请将两个 NUMA 中的 CPU 分配给这两个组。您还可以将 Performance Profile Creator 用于此任务。如需更多信息，请参阅创建性能配置集。

   2

   您还可以指定将队列设置为保留 CPU 数的设备列表。如需更多信息，请参阅使用 Node Tuning Operator 缩减 NIC 队列。

   3

   分配所需的巨页的数量和大小。您可以为巨页指定 NUMA 配置。默认情况下，系统会为系统上的每个 NUMA 节点分配一个偶数数量。如果需要，您可以请求对节点使用实时内核。如需更多信息，请参阅置备具有实时功能的 worker。

2. 将 yaml 文件保存为 mlx-dpdk-perfprofile-policy.yaml。

3. 使用以下命令应用性能配置集：

   $ oc create -f mlx-dpdk-perfprofile-policy.yaml

流程

1. 创建以下 SriovNetworkNodePolicy 对象，然后在 mlx-rdma-node-policy.yaml 文件中保存 YAML。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-rdma-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 1
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 2
     isRdma: true 3

   1

   指定 SR-IOV 网络设备的设备十六进制代码。

   2

   指定到 netdevice 的虚拟功能（VF）的驱动器类型。

   3

   启用 RDMA 模式。

   注意

   如需了解 inSriovNetworkNodePolicy 的每个选项的详情，请参阅 Configuring SR-IOV network devices 部分。

   当应用由 SriovNetworkNodePolicy 对象中指定的配置时，SR-IOV Operator 可能会排空节点，并在某些情况下会重启节点。它可能需要几分钟时间来应用配置更改。确保集群中有足够的可用节点，用以预先处理被驱除的工作负载。

   应用配置更新后，openshift-sriov-network-operator 命名空间中的所有 pod 将变为 Running 状态。

2. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f mlx-rdma-node-policy.yaml

3. 创建以下 SriovNetwork 对象，然后在 mlx-rdma-network.yaml 文件中保存 YAML。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-rdma-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 1
   # ...
     vlan: <vlan>
     resourceName: mlxnics

   1

   为 ipam CNI 插件指定一个配置对象做为一个 YAML 块 scalar。该插件管理附加定义的 IP 地址分配。

   注意

   如需 SriovNetwork 中的每个选项的详细说明，请参阅"Configuring SR-IOV additional network" 部分。

   一个可选的库 app-netutil 提供了多种 API 方法来收集有关容器父 pod 的网络信息。

4. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f mlx-rdma-network.yaml

5. 创建以下 Pod spec，然后在 mlx-rdma-pod.yaml 文件中保存 YAML。

   apiVersion: v1
   kind: Pod
   metadata:
     name: rdma-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-rdma-network
   spec:
     containers:
     - name: testpmd
       image: <RDMA_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           memory: "1Gi"
           cpu: "4" 5
           hugepages-1Gi: "4Gi" 6
         requests:
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   指定 target_namespace，它与 SriovNetwork 对象 mlx-rdma-network 创建于的命令空间相同。如果要在其他命名空间中创建 pod，在 Pod spec 和 SriovNetwork 对象中更改 target_namespace。

   2

   指定包含应用程序和应用程序使用的 RDMA 库的 RDMA 镜像。

   3

   指定容器内的应用程序进行大页分配、系统资源分配和网络接口访问所需的额外功能。

   4

   在 /mnt/huge 下将巨页卷挂载到 RDMA pod。巨页卷由 emptyDir 卷类型支持，medium 为Hugepages。

   5

   指定 CPU 数量。RDMA pod 通常需要从 kubelet 分配专用 CPU。这可以通过将 CPU Manager 策略设置为 static，并创建带有有保障的 QoS 的 pod 来实现。

   6

   指定巨页大小 hugepages-1Gi 或 hugepages-2Mi 以及分配给 RDMA pod 的巨页数量。单独配置 2Mi 和 1Gi 巨页。配置 1Gi 巨页需要在节点中添加内核参数。

6. 运行以下命令来创建 RDMA pod:

   $ oc create -f mlx-rdma-pod.yaml