第5章 SR-IOV 用の RDMA サブシステムの設定

手順

1. 次の例に示すように、SriovNetworkPoolConfig CR を作成し、sriov-nw-pool.yaml として保存します。

   SriovNetworkPoolConfig CR の例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkPoolConfig
   metadata:
     name: worker
     namespace: openshift-sriov-network-operator
   spec:
     maxUnavailable: 1
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker: ""
     rdmaMode: exclusive 

   1

   Copy to Clipboard Toggle word wrap

   1

   RDMA ネットワーク namespace モードを exclusive に設定します。

2. 次のコマンドを実行して、SriovNetworkPoolConfig リソースを作成します。

   $ oc create -f sriov-nw-pool.yaml

   Copy to Clipboard Toggle word wrap

3. 次の例に示すように、SriovNetworkNodePolicy CR を作成し、sriov-node-policy.yaml として保存します。

   SriovNetworkNodePolicy CR の例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: sriov-nic-pf1
     namespace: openshift-sriov-network-operator
   spec:
     deviceType: netdevice
     isRdma: true 

   1

   
     nicSelector:
       pfNames: ["ens3f0np0"]
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     numVfs: 4
     priority: 99
     resourceName: sriov_nic_pf1

   Copy to Clipboard Toggle word wrap

   1

   RDMA モードをアクティブ化します。

4. 次のコマンドを実行して、SriovNetworkNodePolicy リソースを作成します。

   $ oc create -f sriov-node-policy.yaml

   Copy to Clipboard Toggle word wrap

5. 次の例に示すように、SriovNetwork CR を作成し、sriov-network.yaml として保存します。

   SriovNetwork CR の例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: sriov-nic-pf1
     namespace: openshift-sriov-network-operator
   spec:
     networkNamespace: sriov-tests
     resourceName: sriov_nic_pf1
       ipam: |-
     metaPlugins: |
       {
         "type": "rdma" 

   1

   
       }

   Copy to Clipboard Toggle word wrap

   1

   RDMA プラグインを作成します。

6. 次のコマンドを実行して、SriovNetwork リソースを作成します。

   $ oc create -f sriov-network.yaml

   Copy to Clipboard Toggle word wrap

検証

1. 次の例に示すように、Pod CR を作成し、sriov-test-pod.yaml として保存します。

   ランタイム設定の例

   apiVersion: v1
   kind: Pod
   metadata:
     name: sample-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {
             "name": "net1",
             "mac": "20:04:0f:f1:88:01",
             "ips": ["192.168.10.1/24", "2001::1/64"]
           }
         ]
   spec:
     containers:
     - name: sample-container
       image: <image>
       imagePullPolicy: IfNotPresent
       command: ["sleep", "infinity"]

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行してテスト Pod を作成します。

   $ oc create -f sriov-test-pod.yaml

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行してテスト Pod にログインします。

   $ oc rsh testpod1 -n sriov-tests

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、hw-counters ディレクトリーへのパスが存在することを確認します。

   $ ls /sys/bus/pci/devices/${PCIDEVICE_OPENSHIFT_IO_SRIOV_NIC_PF1}/infiniband/*/ports/1/hw_counters/

   Copy to Clipboard Toggle word wrap

   出力例

   duplicate_request       out_of_buffer req_cqe_flush_error           resp_cqe_flush_error        roce_adp_retrans        roce_slow_restart_trans
   implied_nak_seq_err     out_of_sequence req_remote_access_errors    resp_local_length_error     roce_adp_retrans_to     rx_atomic_requests
   lifespan                packet_seq_err req_remote_invalid_request   resp_remote_access_errors   roce_slow_restart       rx_read_requests
   local_ack_timeout_err  req_cqe_error resp_cqe_error                 rnr_nak_retry_err           roce_slow_restart_cnps  rx_write_requests

   Copy to Clipboard Toggle word wrap