8.3. 在带有 Mellanox NIC 的 DPDK 模式中使用虚拟功能

流程

1. 将以下 SriovNetworkNodePolicy YAML 配置保存到 mlx-dpdk-node-policy.yaml 文件中：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 

   1

   
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 

   2

   
     isRdma: true 

   3

   Copy to Clipboard Toggle word wrap

   1

   指定 SR-IOV 网络设备的设备十六进制代码。

   2

   指定到 netdevice 的虚拟功能（VF）的驱动器类型。Mellanox SR-IOV 虚拟功能 (VF) 可以在 DPDK 模式下工作，而无需使用 vfio-pci 设备类型。VF 设备作为容器内的内核网络接口显示。

   3

   启用远程直接内存访问 (RDMA) 模式。Mellanox 卡需要在 DPDK 模式下工作。

   注意

   如需了解 SriovNetworkNodePolicy 对象中的每个选项的详细说明，请参阅配置 SR-IOV 网络设备。

   当应用由 SriovNetworkNodePolicy 对象中指定的配置时，SR-IOV Operator 可能会排空节点，并在某些情况下会重启节点。它可能需要几分钟时间来应用配置更改。确保集群中有足够的可用节点，用以预先处理被驱除的工作负载。

   应用配置更新后，openshift-sriov-network-operator 命名空间中的所有 pod 将变为 Running 状态。

2. 运行以下命令来创建 SriovNetworkNodePolicy 对象：

   $ oc create -f mlx-dpdk-node-policy.yaml

   Copy to Clipboard Toggle word wrap

3. 将以下 SriovNetwork YAML 配置保存到 mlx-dpdk-network.yaml 文件中：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 

   1

   
   ...
     vlan: <vlan>
     resourceName: mlxnics

   Copy to Clipboard Toggle word wrap

   1

   为 IP 地址管理 (IPAM) Container Network Interface (CNI) 插件指定一个配置对象作为 YAML 块 scalar。该插件管理附加定义的 IP 地址分配。

   注意

   如需了解 SriovNetwork 对象中的每个选项的详细说明，请参阅配置 SR-IOV 网络设备。

   app-netutil 选项库提供了几个 API 方法，用于收集有关容器父 pod 的网络信息。

4. 运行以下命令来创建 SriovNetwork 对象：

   $ oc create -f mlx-dpdk-network.yaml

   Copy to Clipboard Toggle word wrap

5. 将以下 Pod YAML 配置保存到 mlx-dpdk-pod.yaml 文件中：

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 

   1

   
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 

   2

   
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 

   3

   
       volumeMounts:
       - mountPath: /mnt/huge 

   4

   
         name: hugepage
       resources:
         limits:
           openshift.io/mlxnics: "1" 

   5

   
           memory: "1Gi"
           cpu: "4" 

   6

   
           hugepages-1Gi: "4Gi" 

   7

   
         requests:
           openshift.io/mlxnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   Copy to Clipboard Toggle word wrap

   1

   指定 target_namespace，它与 SriovNetwork 对象 mlx-dpdk-network 创建于的命令空间相同。要在不同命名空间中创建 pod，在 Pod spec 和 SriovNetwork 对象中更改 target_namespace。

   2

   指定包含应用程序和应用程序使用的 DPDK 库的 DPDK 镜像。

   3

   指定容器内的应用程序进行大页分配、系统资源分配和网络接口访问所需的额外功能。

   4

   将巨页卷挂载到 /mnt/huge 下的 DPDK pod 中。巨页卷由 emptyDir 卷类型支持，介质是 Hugepages。

   5

   可选：指定分配给 DPDK pod 的 DPDK 设备数。如果没有明确指定，则 SR-IOV 网络资源注入程序会自动添加此资源请求和限制。SR-IOV 网络资源注入程序是由 SR-IOV Operator 管理的准入控制器组件。它默认是启用的，可以通过把默认的 SriovOperatorConfig CR 中的 enableInjector 选项设置为 false 来禁用它。

   6

   指定 CPU 数量。DPDK pod 通常需要从 kubelet 分配专用 CPU。要做到这一点，将 CPU Manager 策略设置为 static，并创建带有 Guaranteed 服务质量 (QoS) 的 pod。

   7

   指定巨页大小 hugepages-1Gi 或 hugepages-2Mi 以及分配给 DPDK pod 的巨页数量。单独配置 2Mi 和 1Gi 巨页。配置 1Gi 巨页需要在节点中添加内核参数。

6. 运行以下命令来创建 DPDK pod:

   $ oc create -f mlx-dpdk-pod.yaml

   Copy to Clipboard Toggle word wrap