22.11. DPDK 및 RDMA 사용

프로세스

1. 다음 SriovNetworkNodePolicy 오브젝트를 생성한 다음 YAML을 intel-dpdk-node-policy.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: intel-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: intelnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "8086"
       deviceID: "158b"
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: vfio-pci 1

   1

   가상 기능의 드라이버 유형을 vfio-pci로 지정합니다.

   참고

   SriovNetworkNodePolicy의 각 옵션에 대한 자세한 설명은 Configuring SR-IOV network devices 섹션을 참조하십시오.

   SriovNetworkNodePolicy 오브젝트에 지정된 구성을 적용하면 SR-IOV Operator가 노드를 비우고 경우에 따라 노드를 재부팅할 수 있습니다. 구성 변경 사항을 적용하는 데 몇 분이 걸릴 수 있습니다. 제거된 워크로드를 사전에 처리하는 데 클러스터에 사용 가능한 노드가 충분한지 확인하십시오.

   구성 업데이트가 적용되면 openshift-sriov-network-operator 네임스페이스의 모든 Pod 상태가 Running으로 변경됩니다.

2. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f intel-dpdk-node-policy.yaml

3. 다음 SriovNetwork 오브젝트를 생성한 다음 YAML을 intel-dpdk-network.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: intel-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |-
   # ... 1
     vlan: <vlan>
     resourceName: intelnics

   1

   ipam CNI 플러그인의 구성 오브젝트를 YAML 블록 스칼라로 지정합니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   참고

   SriovNetwork의 각 옵션에 대한 자세한 설명은 " SR-IOV 추가 네트워크 구성" 섹션을 참조하십시오.

   선택적 라이브러리인 app-netutil은 컨테이너의 상위 pod에 대한 네트워크 정보를 수집하기 위한 여러 API 메서드를 제공합니다.

4. 다음 명령을 실행하여 SriovNetwork 오브젝트를 생성합니다.

   $ oc create -f intel-dpdk-network.yaml

5. 다음 Pod 사양을 생성한 다음 YAML을 intel-dpdk-pod.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: intel-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           openshift.io/intelnics: "1" 5
           memory: "1Gi"
           cpu: "4" 6
           hugepages-1Gi: "4Gi" 7
         requests:
           openshift.io/intelnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   SriovNetwork 오브젝트 intel-dpdk-network가 생성되는 동일한 target_namespace를 지정합니다. 다른 네임스페이스에서 Pod를 생성하려면 Pod 사양과 SriovNetwork 오브젝트 모두에서 target_namespace 를 변경합니다.

   2

   애플리케이션 및 애플리케이션이 사용하는 DPDK 라이브러리를 포함하는 DPDK 이미지를 지정합니다.

   3

   hugepage 할당, 시스템 리소스 할당 및 네트워크 인터페이스 액세스를 위해 컨테이너 내부의 애플리케이션에 필요한 추가 기능을 지정합니다.

   4

   /mnt/huge 의 DPDK Pod에 hugepage 볼륨을 마운트합니다. hugepage 볼륨은 매체가 Hugepages인 emptyDir 볼륨 유형으로 지원됩니다.

   5

   선택사항: DPDK Pod에 할당된 DPDK 장치 수를 지정합니다. 명시적으로 지정되지 않은 경우 이 리소스 요청 및 제한은 SR-IOV 네트워크 리소스 인젝터에 의해 자동으로 추가됩니다. SR-IOV 네트워크 리소스 인젝터는 SR-IOV Operator에서 관리하는 승인 컨트롤러 구성 요소입니다. 기본적으로 활성화되어 있으며 기본 SriovOperatorConfig CR에서 enableInjector 옵션을 false로 설정하여 비활성화할 수 있습니다.

   6

   CPU 수를 지정합니다. DPDK pod는 일반적으로 kubelet에서 배타적 CPU를 할당해야 합니다. 이를 위해 CPU 관리자 정책을 static으로 설정하고 QoS가 보장된 Pod를 생성합니다.

   7

   hugepage 크기 hugepages-1Gi 또는 hugepages-2Mi를 지정하고 DPDK Pod에 할당할 hugepage 수량을 지정합니다. 2Mi 및 1Gi hugepage를 별도로 구성합니다. 1Gi hugepage를 구성하려면 커널 인수를 노드에 추가해야 합니다. 예를 들어, 커널 인수 default_hugepagesz = 1GB, hugepagesz = 1G 및 hugepages = 16을 추가하면 시스템 부팅 시 16 * 1Gi hugepage가 할당됩니다.

6. 다음 명령을 실행하여 DPDK Pod를 생성합니다.

   $ oc create -f intel-dpdk-pod.yaml

프로세스

1. 다음 SriovNetworkNodePolicy YAML 구성을 mlx-dpdk-node-policy.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-dpdk-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 1
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 2
     isRdma: true 3

   1

   SR-IOV 네트워크 장치의 장치 16진수 코드를 지정합니다.

   2

   netdevice에 가상 기능의 드라이버 유형을 지정합니다. Mellanox SR-IOV VF(가상 기능)는 vfio-pci 장치 유형을 사용하지 않고도 DPDK 모드에서 작동할 수 있습니다. VF 장치는 컨테이너 내부에 커널 네트워크 인터페이스로 나타납니다.

   3

   RDMA(Remote Direct Memory Access) 모드를 활성화합니다. 이는 Mellanox 카드가 DPDK 모드에서 작동하려면 필수입니다.

   참고

   SriovNetworkNodePolicy 오브젝트의 각 옵션에 대한 자세한 설명은 SR-IOV 네트워크 장치 구성 을 참조하십시오.

   SriovNetworkNodePolicy 오브젝트에 지정된 구성을 적용하면 SR-IOV Operator에서 노드를 비우고 경우에 따라 노드를 재부팅할 수 있습니다. 구성 변경 사항을 적용하는 데 몇 분이 걸릴 수 있습니다. 제거된 워크로드를 사전에 처리하는 데 클러스터에 사용 가능한 노드가 충분한지 확인하십시오.

   구성 업데이트가 적용되면 openshift-sriov-network-operator 네임스페이스의 모든 Pod 상태가 Running으로 변경됩니다.

2. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f mlx-dpdk-node-policy.yaml

3. 다음 SriovNetwork YAML 구성을 mlx-dpdk-network.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-dpdk-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 1
   ...
     vlan: <vlan>
     resourceName: mlxnics

   1

   IPAM(IP Address Management) CNI(Container Network Interface) 플러그인의 구성 오브젝트를 YAML 블록 스칼라로 지정합니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   참고

   SriovNetwork 오브젝트 의 각 옵션에 대한 자세한 설명은 SR-IOV 네트워크 장치 구성 을 참조하십시오.

   app-netutil 옵션 라이브러리는 컨테이너의 상위 포드에 대한 네트워크 정보를 수집하기 위한 여러 API 메서드를 제공합니다.

4. 다음 명령을 실행하여 SriovNetwork 오브젝트를 생성합니다.

   $ oc create -f mlx-dpdk-network.yaml

5. 다음 Pod YAML 구성을 mlx-dpdk-pod.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-dpdk-network
   spec:
     containers:
     - name: testpmd
       image: <DPDK_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           openshift.io/mlxnics: "1" 5
           memory: "1Gi"
           cpu: "4" 6
           hugepages-1Gi: "4Gi" 7
         requests:
           openshift.io/mlxnics: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   SriovNetwork 오브젝트 mlx-dpdk-network가 생성되는 동일한 target_namespace를 지정합니다. 다른 네임스페이스에서 Pod를 생성하려면 Pod 사양과 SriovNetwork 오브젝트 모두에서 target_namespace 를 변경합니다.

   2

   애플리케이션 및 애플리케이션에서 사용하는 DPDK 라이브러리를 포함하는 DPDK 이미지를 지정합니다.

   3

   hugepage 할당, 시스템 리소스 할당 및 네트워크 인터페이스 액세스를 위해 컨테이너 내부의 애플리케이션에 필요한 추가 기능을 지정합니다.

   4

   hugepage 볼륨을 /mnt/huge 아래의 DPDK Pod에 마운트합니다. hugepage 볼륨은 medium가 Hugepages 인 emptyDir 볼륨 유형으로 지원됩니다.

   5

   선택 사항: DPDK Pod에 할당된 DPDK 장치 수를 지정합니다. 명시적으로 지정하지 않으면 SR-IOV 네트워크 리소스 인젝터에 의해 이 리소스 요청 및 제한이 자동으로 추가됩니다. SR-IOV 네트워크 리소스 인젝터는 SR-IOV Operator에서 관리하는 승인 컨트롤러 구성 요소입니다. 기본적으로 활성화되어 있으며 기본 SriovOperatorConfig CR에서 enableInjector 옵션을 false로 설정하여 비활성화할 수 있습니다.

   6

   CPU 수를 지정합니다. DPDK Pod는 일반적으로 kubelet에서 전용 CPU를 할당해야 합니다. 이렇게 하려면 CPU 관리자 정책을 static 으로 설정하고 QoS(Quality of Service) 가 있는 Pod를 생성합니다.

   7

   hugepage 크기 hugepages-1Gi 또는 hugepages-2Mi를 지정하고 DPDK Pod에 할당할 hugepage 수량을 지정합니다. 2Mi 및 1Gi hugepage를 별도로 구성합니다. 1Gi hugepages를 구성하려면 커널 인수를 노드에 추가해야 합니다.

6. 다음 명령을 실행하여 DPDK Pod를 생성합니다.

   $ oc create -f mlx-dpdk-pod.yaml

프로세스

1. 다음 예와 같은 콘텐츠를 사용하여 test-namespace.yaml 과 같은 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: test-namespace
     labels:
       pod-security.kubernetes.io/enforce: privileged
       pod-security.kubernetes.io/audit: privileged
       pod-security.kubernetes.io/warn: privileged
       security.openshift.io/scc.podSecurityLabelSync: "false"

2. 다음 명령을 실행하여 새 Namespace 오브젝트를 생성합니다.

   $ oc apply -f test-namespace.yaml

3. 다음 예와 같은 콘텐츠를 사용하여 sriov-node-network-policy.yaml 과 같은 파일을 생성합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
    name: sriovnic
    namespace: openshift-sriov-network-operator
   spec:
    deviceType: netdevice 1
    isRdma: true 2
    needVhostNet: true 3
    nicSelector:
      vendor: "15b3" 4
      deviceID: "101b" 5
      rootDevices: ["00:05.0"]
    numVfs: 10
    priority: 99
    resourceName: sriovnic
    nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"

   1

   이는 프로파일이 Mellanox Network Interface Controller(NIC)에 맞게 조정됨을 나타냅니다.

   2

   isRdma 를 true 로 설정하는 것은 Mellanox NIC에만 필요합니다.

   3

   그러면 애플리케이션이 탭 장치를 생성하고 탭 장치를 DPDK 워크로드에 연결할 수 있도록 /dev/net/tun 및 /dev/vhost-net 장치를 컨테이너에 마운트합니다.

   4

   SR-IOV 네트워크 장치의 벤더 16진수 코드입니다. 값 15b3은 Mellanox NIC와 연결되어 있습니다.

   5

   SR-IOV 네트워크 장치의 장치 16진수 코드입니다.

4. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f sriov-node-network-policy.yaml

5. 다음 SriovNetwork 오브젝트를 생성한 다음 YAML을 sriov-network-attachment.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
    name: sriov-network
    namespace: openshift-sriov-network-operator
   spec:
    networkNamespace: test-namespace
    resourceName: sriovnic
    spoofChk: "off"
    trust: "on"

   참고

   SriovNetwork의 각 옵션에 대한 자세한 설명은 " SR-IOV 추가 네트워크 구성" 섹션을 참조하십시오.

   선택적 라이브러리인 app-netutil 은 컨테이너의 상위 pod에 대한 네트워크 정보를 수집하기 위한 여러 API 메서드를 제공합니다.

6. 다음 명령을 실행하여 SriovNetwork 오브젝트를 생성합니다.

   $ oc create -f sriov-network-attachment.yaml

7. 다음 예와 같은 콘텐츠를 사용하여 네트워크 연결 정의를 정의하는 tap-example.yaml 과 같은 파일을 생성합니다.

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
    name: tap-one
    namespace: test-namespace 1
   spec:
    config: '{
      "cniVersion": "0.4.0",
      "name": "tap",
      "plugins": [
        {
           "type": "tap",
           "multiQueue": true,
           "selinuxcontext": "system_u:system_r:container_t:s0"
        },
        {
          "type":"tuning",
          "capabilities":{
            "mac":true
          }
        }
      ]
    }'

   1

   SriovNetwork 오브젝트가 생성되는 동일한 target_namespace 를 지정합니다.

8. 다음 명령을 실행하여 NetworkAttachmentDefinition 오브젝트를 생성합니다.

   $ oc apply -f tap-example.yaml

9. 다음 예와 같은 콘텐츠를 사용하여 dpdk-pod-rootless.yaml 과 같은 파일을 만듭니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: dpdk-app
     namespace: test-namespace 1
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
         {"name": "sriov-network", "namespace": "test-namespace"},
         {"name": "tap-one", "interface": "ext0", "namespace": "test-namespace"}]'
   spec:
     nodeSelector:
       kubernetes.io/hostname: "worker-0"
     securityContext:
         fsGroup: 1001 2
         runAsGroup: 1001 3
         seccompProfile:
           type: RuntimeDefault
     containers:
     - name: testpmd
       image: <DPDK_image> 4
       securityContext:
         capabilities:
           drop: ["ALL"] 5
           add: 6
             - IPC_LOCK
             - NET_RAW #for mlx only 7
         runAsUser: 1001 8
         privileged: false 9
         allowPrivilegeEscalation: true 10
         runAsNonRoot: true 11
       volumeMounts:
       - mountPath: /mnt/huge 12
         name: hugepages
       resources:
         limits:
           openshift.io/sriovnic: "1" 13
           memory: "1Gi"
           cpu: "4" 14
           hugepages-1Gi: "4Gi" 15
         requests:
           openshift.io/sriovnic: "1"
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     runtimeClassName: performance-cnf-performanceprofile 16
     volumes:
     - name: hugepages
       emptyDir:
         medium: HugePages

   1

   SriovNetwork 오브젝트가 생성되는 동일한 target_namespace 를 지정합니다. 다른 네임스페이스에서 Pod를 생성하려면 Pod 사양과 SriovNetwork 오브젝트 모두에서 target_namespace 를 변경합니다.

   2

   볼륨 마운트 디렉토리 및 해당 볼륨에서 생성된 파일의 그룹 소유권을 설정합니다.

   3

   컨테이너 실행에 사용되는 기본 그룹 ID를 지정합니다.

   4

   애플리케이션 및 애플리케이션에서 사용하는 DPDK 라이브러리를 포함하는 DPDK 이미지를 지정합니다.

   5

   컨테이너의 securityContext에서 모든 기능(ALL)을 제거하면 컨테이너에 일반 작업에 필요한 것 이상으로 특별한 권한이 없습니다.

   6

   hugepage 할당, 시스템 리소스 할당 및 네트워크 인터페이스 액세스를 위해 컨테이너 내부의 애플리케이션에 필요한 추가 기능을 지정합니다. 이러한 기능은 setcap 명령을 사용하여 바이너리 파일에서 설정해야 합니다.

   7

   Mellanox NIC(네트워크 인터페이스 컨트롤러)에는 NET_RAW 기능이 필요합니다.

   8

   컨테이너 실행에 사용되는 사용자 ID를 지정합니다.

   9

   이 설정은 Pod 내의 컨테이너 또는 컨테이너에 호스트 시스템에 대한 권한 액세스 권한을 부여하지 않아야 함을 나타냅니다.

   10

   이 설정을 사용하면 컨테이너가 할당되었을 수 있는 초기 루트 권한이 아닌 초기 권한을 에스컬레이션할 수 있습니다.

   11

   이 설정을 사용하면 컨테이너가 루트가 아닌 사용자로 실행됩니다. 이렇게 하면 컨테이너 손상 및 공격 면적 감소의 잠재적인 영향을 제한하여 최소 권한 원칙을 적용하는 데 도움이 됩니다.

   12

   /mnt/huge 의 DPDK Pod에 hugepage 볼륨을 마운트합니다. hugepage 볼륨은 매체가 Hugepages인 emptyDir 볼륨 유형으로 지원됩니다.

   13

   선택 사항: DPDK Pod에 할당된 DPDK 장치 수를 지정합니다. 명시적으로 지정하지 않으면 SR-IOV 네트워크 리소스 인젝터에 의해 이 리소스 요청 및 제한이 자동으로 추가됩니다. SR-IOV 네트워크 리소스 인젝터는 SR-IOV Operator에서 관리하는 승인 컨트롤러 구성 요소입니다. 기본적으로 활성화되어 있으며 기본 SriovOperatorConfig CR에서 enableInjector 옵션을 false로 설정하여 비활성화할 수 있습니다.

   14

   CPU 수를 지정합니다. DPDK pod는 일반적으로 kubelet에서 배타적 CPU를 할당해야 합니다. 이를 위해 CPU 관리자 정책을 static으로 설정하고 QoS가 보장된 Pod를 생성합니다.

   15

   hugepage 크기 hugepages-1Gi 또는 hugepages-2Mi를 지정하고 DPDK Pod에 할당할 hugepage 수량을 지정합니다. 2Mi 및 1Gi hugepage를 별도로 구성합니다. 1Gi hugepage를 구성하려면 커널 인수를 노드에 추가해야 합니다. 예를 들어, 커널 인수 default_hugepagesz = 1GB, hugepagesz = 1G 및 hugepages = 16을 추가하면 시스템 부팅 시 16 * 1Gi hugepage가 할당됩니다.

   16

   성능 프로필의 이름이 cnf-performance 프로필 로 지정되지 않은 경우 해당 문자열을 올바른 성능 프로필 이름으로 교체합니다.

10. 다음 명령을 실행하여 DPDK Pod를 생성합니다.

    $ oc create -f dpdk-pod-rootless.yaml

프로세스

1. 다음 예제를 기반으로 PerformanceProfile 오브젝트를 생성합니다.

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     globallyDisableIrqLoadBalancing: true
     cpu:
       isolated: 21-51,73-103 1
       reserved: 0-20,52-72 2
     hugepages:
       defaultHugepagesSize: 1G 3
       pages:
         - count: 32
           size: 1G
     net:
       userLevelNetworking: true
     numa:
       topologyPolicy: "single-numa-node"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

   1

   시스템에서 하이퍼 스레딩이 활성화된 경우 격리된 CPU 그룹과 예약된 CPU 그룹에 관련 심볼릭 링크를 할당합니다. 시스템에 NUMA(Non-Uniform Memory Access nodes)가 여러 개 포함된 경우 두 NUMA의 CPU를 두 그룹에 할당합니다. 이 작업에 Performance Profile Creator를 사용할 수도 있습니다. 자세한 내용은 성능 프로필 생성을 참조하십시오.

   2

   대기열을 예약된 CPU 수로 설정할 장치 목록을 지정할 수도 있습니다. 자세한 내용은 Node Tuning Operator를 사용하여 NIC 대기열 단축을 참조하십시오.

   3

   필요한 hugepages의 수와 크기를 할당합니다. hugepages에 대한 NUMA 구성을 지정할 수 있습니다. 기본적으로 시스템은 시스템의 모든 NUMA 노드에 짝 숫자를 할당합니다. 필요한 경우 노드에 대한 실시간 커널 사용을 요청할 수 있습니다. 자세한 내용은 실시간 기능이 있는 작업자 프로비저닝 을 참조하십시오.

2. yaml 파일을 mlx-dpdk-perfprofile-policy.yaml 로 저장합니다.

3. 다음 명령을 사용하여 성능 프로필을 적용합니다.

   $ oc create -f mlx-dpdk-perfprofile-policy.yaml

프로세스

1. 다음 SriovNetworkNodePolicy 오브젝트를 생성한 다음 YAML을 mlx-rdma-node-policy.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: mlx-rdma-node-policy
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: mlxnics
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"
     priority: <priority>
     numVfs: <num>
     nicSelector:
       vendor: "15b3"
       deviceID: "1015" 1
       pfNames: ["<pf_name>", ...]
       rootDevices: ["<pci_bus_id>", "..."]
     deviceType: netdevice 2
     isRdma: true 3

   1

   SR-IOV 네트워크 장치의 장치 16진수 코드를 지정합니다.

   2

   netdevice에 가상 기능의 드라이버 유형을 지정합니다.

   3

   RDMA 모드를 활성화합니다.

   참고

   SriovNetworkNodePolicy의 각 옵션에 대한 자세한 설명은 Configuring SR-IOV network devices 섹션을 참조하십시오.

   SriovNetworkNodePolicy 오브젝트에 지정된 구성을 적용하면 SR-IOV Operator가 노드를 비우고 경우에 따라 노드를 재부팅할 수 있습니다. 구성 변경 사항을 적용하는 데 몇 분이 걸릴 수 있습니다. 제거된 워크로드를 사전에 처리하는 데 클러스터에 사용 가능한 노드가 충분한지 확인하십시오.

   구성 업데이트가 적용되면 openshift-sriov-network-operator 네임스페이스의 모든 Pod 상태가 Running으로 변경됩니다.

2. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f mlx-rdma-node-policy.yaml

3. 다음 SriovNetwork 오브젝트를 생성한 다음 YAML을 mlx-rdma-network.yaml 파일에 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: mlx-rdma-network
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: <target_namespace>
     ipam: |- 1
   # ...
     vlan: <vlan>
     resourceName: mlxnics

   1

   ipam CNI 플러그인의 구성 오브젝트를 YAML 블록 스칼라로 지정합니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   참고

   SriovNetwork의 각 옵션에 대한 자세한 설명은 " SR-IOV 추가 네트워크 구성" 섹션을 참조하십시오.

   선택적 라이브러리인 app-netutil은 컨테이너의 상위 pod에 대한 네트워크 정보를 수집하기 위한 여러 API 메서드를 제공합니다.

4. 다음 명령을 실행하여 SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f mlx-rdma-network.yaml

5. 다음 Pod 사양을 생성한 다음 YAML을 mlx-rdma-pod.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: rdma-app
     namespace: <target_namespace> 1
     annotations:
       k8s.v1.cni.cncf.io/networks: mlx-rdma-network
   spec:
     containers:
     - name: testpmd
       image: <RDMA_image> 2
       securityContext:
         runAsUser: 0
         capabilities:
           add: ["IPC_LOCK","SYS_RESOURCE","NET_RAW"] 3
       volumeMounts:
       - mountPath: /mnt/huge 4
         name: hugepage
       resources:
         limits:
           memory: "1Gi"
           cpu: "4" 5
           hugepages-1Gi: "4Gi" 6
         requests:
           memory: "1Gi"
           cpu: "4"
           hugepages-1Gi: "4Gi"
       command: ["sleep", "infinity"]
     volumes:
     - name: hugepage
       emptyDir:
         medium: HugePages

   1

   SriovNetwork 오브젝트 mlx-rdma-network가 생성되는 동일한 target_namespace를 지정합니다. 다른 네임스페이스에서 Pod를 생성하려면 Pod 사양과 SriovNetwork 오브젝트 모두에서 target_namespace 를 변경합니다.

   2

   애플리케이션 및 애플리케이션에서 사용하는 RDMA 라이브러리를 포함하는 RDMA 이미지를 지정합니다.

   3

   hugepage 할당, 시스템 리소스 할당 및 네트워크 인터페이스 액세스를 위해 컨테이너 내부의 애플리케이션에 필요한 추가 기능을 지정합니다.

   4

   hugepage 볼륨을 /mnt/huge 아래의 RDMA Pod에 마운트합니다. hugepage 볼륨은 매체가 Hugepages인 emptyDir 볼륨 유형으로 지원됩니다.

   5

   CPU 수를 지정합니다. RDMA Pod는 일반적으로 kubelet에서 전용 CPU를 할당해야 합니다. 이를 위해 CPU 관리자 정책을 static으로 설정하고 QoS가 Guaranteed Pod를 생성합니다.

   6

   hugepage 크기 hugepages-1Gi 또는 hugepages-2Mi를 지정하고 RDMA Pod에 할당할 hugepage 수량을 지정합니다. 2Mi 및 1Gi hugepage를 별도로 구성합니다. 1Gi hugepage를 구성하려면 커널 인수를 노드에 추가해야 합니다.

6. 다음 명령을 실행하여 RDMA Pod를 생성합니다.

   $ oc create -f mlx-rdma-pod.yaml