8.3. Mellanox NIC와 함께 DPDK 모드에서 가상 기능 사용

프로세스

1. 다음 SriovNetworkNodePolicy YAML 구성을 mlx-dpdk-node-policy.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 

   1

   
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 

   2

   
     isRdma: true 

   3

   Copy to Clipboard Toggle word wrap

   1

   SR-IOV 네트워크 장치의 장치 16진수 코드를 지정합니다.

   2

   netdevice에 가상 기능의 드라이버 유형을 지정합니다. Mellanox SR-IOV VF(가상 기능)는 vfio-pci 장치 유형을 사용하지 않고도 DPDK 모드에서 작동할 수 있습니다. VF 장치는 컨테이너 내부에 커널 네트워크 인터페이스로 나타납니다.

   3

   RDMA(Remote Direct Memory Access) 모드를 활성화합니다. 이는 Mellanox 카드가 DPDK 모드에서 작동하려면 필수입니다.

   참고

   SriovNetworkNodePolicy 오브젝트의 각 옵션에 대한 자세한 설명은 SR-IOV 네트워크 장치 구성 을 참조하십시오.

   SriovNetworkNodePolicy 오브젝트에 지정된 구성을 적용하면 SR-IOV Operator에서 노드를 비우고 경우에 따라 노드를 재부팅할 수 있습니다. 구성 변경 사항을 적용하는 데 몇 분이 걸릴 수 있습니다. 제거된 워크로드를 사전에 처리하는 데 클러스터에 사용 가능한 노드가 충분한지 확인하십시오.

   구성 업데이트가 적용되면 openshift-sriov-network-operator 네임스페이스의 모든 Pod 상태가 Running으로 변경됩니다.

2. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f mlx-dpdk-node-policy.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 SriovNetwork YAML 구성을 mlx-dpdk-network.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 

   1

   
   ...
     vlan: <vlan>
     resourceName: mlxnics

   Copy to Clipboard Toggle word wrap

   1

   IPAM(IP Address Management) CNI(Container Network Interface) 플러그인의 구성 오브젝트를 YAML 블록 스칼라로 지정합니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   참고

   SriovNetwork 오브젝트 의 각 옵션에 대한 자세한 설명은 SR-IOV 네트워크 장치 구성 을 참조하십시오.

   app-netutil 옵션 라이브러리는 컨테이너의 상위 포드에 대한 네트워크 정보를 수집하기 위한 여러 API 메서드를 제공합니다.

4. 다음 명령을 실행하여 SriovNetwork 오브젝트를 생성합니다.

   $ oc create -f mlx-dpdk-network.yaml

   Copy to Clipboard Toggle word wrap

5. 다음 Pod YAML 구성을 mlx-dpdk-pod.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 

   1

   
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 

   2

   
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 

   3

   
       volumeMounts:
       - mountPath: /mnt/huge 

   4

   
         name: hugepage
       resources:
         limits:
           openshift.io/mlxnics: "1" 

   5

   
           memory: "1Gi"
           cpu: "4" 

   6

   
           hugepages-1Gi: "4Gi" 

   7

   
         requests:
           openshift.io/mlxnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   Copy to Clipboard Toggle word wrap

   1

   SriovNetwork 오브젝트 mlx-dpdk-network가 생성되는 동일한 target_namespace를 지정합니다. 다른 네임스페이스에서 Pod를 생성하려면 Pod 사양과 SriovNetwork 오브젝트 모두에서 target_namespace 를 변경합니다.

   2

   애플리케이션 및 애플리케이션에서 사용하는 DPDK 라이브러리를 포함하는 DPDK 이미지를 지정합니다.

   3

   hugepage 할당, 시스템 리소스 할당 및 네트워크 인터페이스 액세스를 위해 컨테이너 내부의 애플리케이션에 필요한 추가 기능을 지정합니다.

   4

   hugepage 볼륨을 /mnt/huge 아래의 DPDK Pod에 마운트합니다. hugepage 볼륨은 medium가 Hugepages 인 emptyDir 볼륨 유형으로 지원됩니다.

   5

   선택 사항: DPDK Pod에 할당된 DPDK 장치 수를 지정합니다. 명시적으로 지정하지 않으면 SR-IOV 네트워크 리소스 인젝터에 의해 이 리소스 요청 및 제한이 자동으로 추가됩니다. SR-IOV 네트워크 리소스 인젝터는 SR-IOV Operator에서 관리하는 승인 컨트롤러 구성 요소입니다. 기본적으로 활성화되어 있으며 기본 SriovOperatorConfig CR에서 enableInjector 옵션을 false로 설정하여 비활성화할 수 있습니다.

   6

   CPU 수를 지정합니다. DPDK Pod는 일반적으로 kubelet에서 전용 CPU를 할당해야 합니다. 이렇게 하려면 CPU 관리자 정책을 static 으로 설정하고 QoS(Quality of Service) 가 있는 Pod를 생성합니다.

   7

   hugepage 크기 hugepages-1Gi 또는 hugepages-2Mi를 지정하고 DPDK Pod에 할당할 hugepage 수량을 지정합니다. 2Mi 및 1Gi hugepage를 별도로 구성합니다. 1Gi hugepages를 구성하려면 커널 인수를 노드에 추가해야 합니다.

6. 다음 명령을 실행하여 DPDK Pod를 생성합니다.

   $ oc create -f mlx-dpdk-pod.yaml

   Copy to Clipboard Toggle word wrap