5장. SR-IOV의 RDMA 하위 시스템 구성

프로세스

1. SriovNetworkPoolConfig CR을 생성하고 다음 예와 같이 sriov-nw-pool.yaml 로 저장합니다.

   SriovNetworkPoolConfig CR의 예

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkPoolConfig
   metadata:
     name: worker
     namespace: openshift-sriov-network-operator
   spec:
     maxUnavailable: 1
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker: ""
     rdmaMode: exclusive 

   1

   1

   RDMA 네트워크 네임스페이스 모드를 배타적 으로 설정합니다.

2. 다음 명령을 실행하여 SriovNetworkPoolConfig 리소스를 생성합니다.

   $ oc create -f sriov-nw-pool.yaml

3. SriovNetworkNodePolicy CR을 생성하고 다음 예와 같이 sriov-node-policy.yaml 로 저장합니다.

   SriovNetworkNodePolicy CR의 예

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: sriov-nic-pf1
     namespace: openshift-sriov-network-operator
   spec:
     deviceType: netdevice
     isRdma: true 

   1

   
     nicSelector:
       pfNames: ["ens3f0np0"]
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     numVfs: 4
     priority: 99
     resourceName: sriov_nic_pf1

   1

   RDMA 모드를 활성화합니다.

4. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

   $ oc create -f sriov-node-policy.yaml

5. SriovNetwork CR을 생성하고 다음 예와 같이 sriov-network.yaml 로 저장합니다.

   SriovNetwork CR의 예

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: sriov-nic-pf1
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: sriov-tests
     resourceName: sriov_nic_pf1
       ipam: |-
     metaPlugins: |
       {
         "type": "rdma" 

   1

   
       }

   1

   RDMA 플러그인을 생성합니다.

6. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network.yaml

검증

1. Pod CR을 생성하고 다음 예와 같이 sriov-test-pod.yaml 로 저장합니다.

   런타임 구성 예

   apiVersion: v1
   kind: Pod
   metadata:
     name: sample-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {
             "name": "net1",
             "mac": "20:04:0f:f1:88:01",
             "ips": ["192.168.10.1/24", "2001::1/64"]
           }
         ]
   spec:
     containers:
     - name: sample-container
       image: <image>
       imagePullPolicy: IfNotPresent
       command: ["sleep", "infinity"]

2. 다음 명령을 실행하여 테스트 Pod를 생성합니다.

   $ oc create -f sriov-test-pod.yaml

3. 다음 명령을 실행하여 테스트 Pod에 로그인합니다.

   $ oc rsh testpod1 -n sriov-tests

4. 다음 명령을 실행하여 hw-counters 디렉터리의 경로가 있는지 확인합니다.

   $ ls /sys/bus/pci/devices/${PCIDEVICE_OPENSHIFT_IO_SRIOV_NIC_PF1}/infiniband/*/ports/1/hw_counters/

   출력 예

   duplicate_request       out_of_buffer req_cqe_flush_error           resp_cqe_flush_error        roce_adp_retrans        roce_slow_restart_trans
   implied_nak_seq_err     out_of_sequence req_remote_access_errors    resp_local_length_error     roce_adp_retrans_to     rx_atomic_requests
   lifespan                packet_seq_err req_remote_invalid_request   resp_remote_access_errors   roce_slow_restart       rx_read_requests
   local_ack_timeout_err  req_cqe_error resp_cqe_error                 rnr_nak_retry_err           roce_slow_restart_cnps  rx_write_requests