23.4. SR-IOV ネットワークデバイスの設定

手順

1. SriovNetworkPoolConfig リソースを作成します。

   1. SriovNetworkPoolConfig リソースを定義する YAML ファイルを作成します。

      sriov-nw-pool.yaml ファイルの例

      apiVersion: v1
      kind: SriovNetworkPoolConfig
      metadata:
        name: pool-1 

      1

      
        namespace: openshift-sriov-network-operator 

      2

      
      spec:
        maxUnavailable: 2 

      3

      
        nodeSelector: 

      4

      
          matchLabels:
            node-role.kubernetes.io/worker: ""

      Copy to Clipboard Toggle word wrap

      1

      SriovNetworkPoolConfig オブジェクトの名前を指定します。

      2

      SR-IOV Network Operator がインストールされている namespace を指定します。

      3

      更新中にプール内で使用できなくなるノードの整数値またはパーセンテージ値を指定します。たとえば、ノードが 10 個あり、使用不可の最大値を 2 に設定した場合は、一度に並列ドレインできるノードは 2 個だけとなり、ワークロードの処理には 8 個のノードが残ります。

      4

      ノードセレクターを使用して、プールを追加するノードを指定します。この例では、worker ロールを持つすべてのノードをプールに追加します。

   2. 次のコマンドを実行して、SriovNetworkPoolConfig リソースを作成します。

      $ oc create -f sriov-nw-pool.yaml

      Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、sriov-test namespace を作成します。

   $ oc create namespace sriov-test

   Copy to Clipboard Toggle word wrap

3. SriovNetworkNodePolicy リソースを作成します。

   1. SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

      sriov-node-policy.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames: ["ens1"]
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        numVfs: 5
        priority: 99
        resourceName: sriov_nic_1

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、SriovNetworkNodePolicy リソースを作成します。

      $ oc create -f sriov-node-policy.yaml

      Copy to Clipboard Toggle word wrap

4. SriovNetwork リソースを作成します。

   1. SriovNetwork リソースを定義する YAML ファイルを作成します。

      sriov-network.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        linkState: auto
        networkNamespace: sriov-test
        resourceName: sriov_nic_1
        capabilities: '{ "mac": true, "ips": true }'
        ipam: '{ "type": "static" }'

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、SriovNetwork リソースを作成します。

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

1. クラスター内のワークロードのドレインをトリガーするには、SriovNetworkNodePolicy リソース内の Virtual Function の数を更新します。

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、ターゲットクラスターのドレインステータスを監視します。

   $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

   Copy to Clipboard Toggle word wrap

   出力例

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
   openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

   Copy to Clipboard Toggle word wrap

   ドレインプロセスが完了すると、SYNC STATUS が Succeeded に変わり、DESIRED SYNC STATE と CURRENT SYNC STATE の値が IDLE に戻ります。

   出力例

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   Succeeded     Idle                 Idle                 3d10h
   openshift-sriov-network-operator   worker-1   Succeeded     Idle                 Idle                 3d10h

   Copy to Clipboard Toggle word wrap

手順

1. 追加の SR-IOV ネットワーク割り当て用の SriovNetwork カスタムリソース (CR) を作成し、以下のサンプル CR のように metaPlugins 設定を挿入します。YAML を sriov-network-attachment.yaml ファイルとして保存します。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: example-network
     namespace: additional-sriov-network-1
   spec:
     ipam: |
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "routes": [{
           "dst": "0.0.0.0/0"
         }],
         "gateway": "10.56.217.1"
       }
     vlan: 0
     resourceName: intelnics
     metaPlugins : |
       {
         "type": "vrf", 

   1

   
         "vrfname": "example-vrf-name" 

   2

   
       }

   Copy to Clipboard Toggle word wrap

   1

   type は vrf に設定する必要があります。

   2

   vrfname は、インターフェイスが割り当てられた VRF の名前です。これが Pod に存在しない場合は作成されます。

2. SriovNetwork リソースを作成します。

   $ oc create -f sriov-network-attachment.yaml

   Copy to Clipboard Toggle word wrap

1. VRF CNI を使用する SR-IOV ネットワークを作成します。
2. ネットワークを Pod に割り当てます。

3. Pod のネットワーク割り当てが SR-IOV の追加ネットワークに接続されていることを確認します。Pod にリモートシェルを実行し、以下のコマンドを実行します。

   $ ip vrf show

   Copy to Clipboard Toggle word wrap

   出力例

   Name              Table
   -----------------------
   red                 10

   Copy to Clipboard Toggle word wrap

4. VRF インターフェイスがセカンダリーインターフェイスのマスターであることを確認します。

   $ ip link

   Copy to Clipboard Toggle word wrap

   出力例

   ...
   5: net1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master red state UP mode
   ...

   Copy to Clipboard Toggle word wrap

手順

1. SriovNetworkNodePolicy CR を作成します。

   1. 次の YAML を sriov-network-node-policy.yaml ファイルに保存し、環境に合わせて YAML 内の値を置き換えます。

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 

      2

      
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 

      3

      Copy to Clipboard Toggle word wrap

      1

      SR-IOV ネットワークデバイスプラグインのリソース名。この YAML は、サンプルの resourceName 値を使用します。

      2

      NIC セレクターを使用して、Operator が設定するデバイスを特定します。

      3

      SR-IOV ネットワークリソースの NUMA ノードを Topology Manager にアドバタイスする場合を除外するには、値を true に設定します。デフォルト値は false です。

      注記

      複数の SriovNetworkNodePolicy リソースが同じ SR-IOV ネットワークリソースをターゲットとする場合、SriovNetworkNodePolicy リソースの値は excludeTopology 仕様と同じである必要があります。そうでない場合、矛盾するポリシーは拒否されます。

   2. 次のコマンドを実行して、SriovNetworkNodePolicy リソースを作成します。

      $ oc create -f sriov-network-node-policy.yaml

      Copy to Clipboard Toggle word wrap

      出力例

      sriovnetworknodepolicy.sriovnetwork.openshift.io/policy-for-numa-0 created

      Copy to Clipboard Toggle word wrap

2. SriovNetwork CR を作成します。

   1. 次の YAML を sriov-network.yaml ファイルに保存します。その場合、YAML 内の値は環境に合わせて置き換えます。

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 

      1

      
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      2

      
        networkNamespace: <namespace> 

      3

      
        ipam: |- 

      4

      
          {
            "type": "<ipam_type>",
          }

      Copy to Clipboard Toggle word wrap

      1

      sriov-numa-0-network は、SR-IOV ネットワークリソースの名前に置き換えます。

      2

      前の手順で作成した SriovNetworkNodePolicy CR のリソース名を指定します。この YAML は、サンプルの resourceName 値を使用します。

      3

      SR-IOV ネットワークリソースの namespace を入力します。

      4

      SR-IOV ネットワークの IP アドレス管理設定を入力します。

   2. 次のコマンドを実行して、SriovNetwork リソースを作成します。

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

      出力例

      sriovnetwork.sriovnetwork.openshift.io/sriov-numa-0-network created

      Copy to Clipboard Toggle word wrap

3. Pod を作成し、前の手順で作成した SR-IOV ネットワークリソースを割り当てます。

   1. 次の YAML を sriov-network-pod.yaml ファイルに保存します。その場合、YAML 内の値は環境に合わせて置き換えます。

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 

      1

      
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      Copy to Clipboard Toggle word wrap

      1

      これは、SriovNetworkNodePolicy リソースを使用する SriovNetwork リソースの名前です。

   2. 次のコマンドを実行して、Pod リソースを作成します。

      $ oc create -f sriov-network-pod.yaml

      Copy to Clipboard Toggle word wrap

      出力例

      pod/example-pod created

      Copy to Clipboard Toggle word wrap

検証

1. 次のコマンドを実行して、Pod のステータスを確認します。その場合、<pod_name> は Pod の名前に置き換えます。

   $ oc get pod <pod_name>

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

   Copy to Clipboard Toggle word wrap

2. ターゲット Pod とのデバッグセッションを開き、SR-IOV ネットワークリソースがメモリーおよび CPU リソースとは異なるノードにデプロイされていることを確認します。

   1. 次のコマンドを実行して、Pod とのデバッグセッションを開きます。その場合、<pod_name> はターゲット Pod の名前に置き換えます。

      $ oc debug pod/<pod_name>

      Copy to Clipboard Toggle word wrap

   2. /host をデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の /host にホストからのルートファイルシステムをマウントします。ルートディレクトリーを /host に変更すると、ホストファイルシステムからのバイナリーを実行できます。

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   3. 次のコマンドを実行して、CPU 割り当てに関する情報を表示します。

      $ lscpu | grep NUMA

      Copy to Clipboard Toggle word wrap

      出力例

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      Copy to Clipboard Toggle word wrap

      $ cat /proc/self/status | grep Cpus

      Copy to Clipboard Toggle word wrap

      出力例

      Cpus_allowed:	aa
      Cpus_allowed_list:	1,3,5,7

      Copy to Clipboard Toggle word wrap

      $ cat  /sys/class/net/net1/device/numa_node

      Copy to Clipboard Toggle word wrap

      出力例

      0

      Copy to Clipboard Toggle word wrap

      この例では、CPU 1、3、5、7 が NUMA node1 に割り当てられていますが、SR-IOV ネットワークリソースは NUMA node0 の NIC を使用できます。