ハードウェアネットワーク

手順

1. SriovNetworkNodePolicy オブジェクトを作成してから、YAML を <name>-sriov-node-network.yaml ファイルに保存します。<name> をこの設定の名前に置き換えます。
2. オプション: SR-IOV 対応のクラスターノードにまだラベルが付いていない場合は、SriovNetworkNodePolicy.Spec.NodeSelector でラベルを付けます。ノードのラベル付けの詳細は、「ノードのラベルを更新する方法について」を参照してください。

3. SriovNetworkNodePolicy オブジェクトを作成します。

   $ oc create -f <name>-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   ここで、<name> はこの設定の名前を指定します。

   設定の更新が適用された後に、sriov-network-operator namespace のすべての Pod が Running ステータスに移行します。

4. SR-IOV ネットワークデバイスが設定されていることを確認するには、以下のコマンドを実行します。<node_name> を、設定したばかりの SR-IOV ネットワークデバイスを持つノードの名前に置き換えます。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

手順

1. 以下の SR-IOV Pod 仕様を作成してから、YAML を <name>-sriov-pod.yaml ファイルに保存します。<name> をこの Pod の名前に置き換えます。

   以下の例は、SR-IOV Pod 仕様を示しています。

   apiVersion: v1
   kind: Pod
   metadata:
     name: sample-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: <name> 

   1

   
   spec:
     containers:
     - name: sample-container
       image: <image> 

   2

   
       command: ["sleep", "infinity"]
       resources:
         limits:
           memory: "1Gi" 

   3

   
           cpu: "2" 

   4

   
         requests:
           memory: "1Gi"
           cpu: "2"

   Copy to Clipboard Toggle word wrap

   1

   <name> を、SR-IOV ネットワーク割り当て定義 CR の名前に置き換えます。

   2

   <image> を sample-pod イメージの名前に置き換えます。

   3

   Guaranteed QoS を指定して SR-IOV Pod を作成するには、memory requests に等しい memory limits を設定します。

   4

   Guaranteed QoS を指定して SR-IOV Pod を作成するには、cpu requests に等しい cpu limits を設定します。

2. 以下のコマンドを実行して SR-IOV Pod のサンプルを作成します。

   $ oc create -f <filename> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <filename> を、先の手順で作成したファイルの名前に置き換えます。

3. sample-pod が Guaranteed QoS を指定して設定されていることを確認します。

   $ oc describe pod sample-pod

   Copy to Clipboard Toggle word wrap

4. sample-pod が排他的 CPU を指定して割り当てられていることを確認します。

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

5. sample-pod に割り当てられる SR-IOV デバイスと CPU が同じ NUMA ノード上にあることを確認します。

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

手順

1. SriovNetwork オブジェクトを作成してから、YAML を <name>.yaml ファイルに保存します。<name> はこの追加ネットワークの名前になります。オブジェクト仕様は以下の例のようになります。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. オブジェクトを作成するには、以下のコマンドを入力します。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   ここで、<name> は追加ネットワークの名前を指定します。

3. オプション: 以下のコマンドを実行して、直前の手順で作成した SriovNetwork オブジェクトに関連付けられた NetworkAttachmentDefinition オブジェクトが存在することを確認するには、以下のコマンドを入力します。<namespace> を SriovNetwork オブジェクトで指定した networkNamespace に置き換えます。

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

手順

1. アノテーションを Pod オブジェクトに追加します。以下のアノテーション形式のいずれかのみを使用できます。

   1. カスタマイズせずにセカンダリーネットワークをアタッチするには、次の形式でアノテーションを追加します。<network> が、Pod に関連付けるセカンダリーネットワークの名前に置き換えます。

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      複数のセカンダリーネットワークを指定するには、各ネットワークをコンマで区切ります。コンマの間にはスペースを入れないでください。同じセカンダリーネットワークを複数回指定した場合、Pod は複数のネットワークインターフェイスをそのネットワークにアタッチします。

   2. カスタマイズしてセカンダリーネットワークをアタッチするには、次の形式でアノテーションを追加します。

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default_route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      NetworkAttachmentDefinition オブジェクトによって定義されたセカンダリーネットワークの名前を指定します。

      2

      NetworkAttachmentDefinition オブジェクトが定義される namespace を指定します。

      3

      オプション: 192.168.17.1 などのデフォルトルートのオーバーライドを指定します。

2. Pod を作成するには、以下のコマンドを入力します。<name> を Pod の名前に置き換えます。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. オプション: アノテーションが Pod CR に存在することを確認するには、<name> を Pod の名前に置き換えて、以下のコマンドを入力します。

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   次の例では、example-pod Pod が net1 セカンダリーネットワークにアタッチされています。

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status パラメーターは、オブジェクトの JSON 配列です。各オブジェクトは、Pod にアタッチされているセカンダリーネットワークのステータスを表します。アノテーションの値はプレーンテキストの値として保存されます。

手順

1. SriovNetworkPoolConfig リソースを定義する YAML ファイルを作成します。

   sriov-nw-pool.yaml ファイルの例

   apiVersion: v1
   kind: SriovNetworkPoolConfig
   metadata:
     name: pool-1 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     maxUnavailable: 2 

   3

   
     nodeSelector: 

   4

   
       matchLabels:
         node-role.kubernetes.io/worker: ""

   Copy to Clipboard Toggle word wrap

   1

   SriovNetworkPoolConfig オブジェクトの名前を指定します。

   2

   SR-IOV Network Operator がインストールされている namespace を指定します。

   3

   更新中にプール内で使用できなくなるノードの整数値またはパーセンテージ値を指定します。たとえば、ノードが 10 個あり、使用不可の最大数を 2 に設定した場合は、一度に並列ドレインできるノードは 2 個だけとなり、ワークロードの処理には 8 個のノードが残ります。

   4

   ノードセレクターを使用して、プールを追加するノードを指定します。この例では、worker ロールを持つすべてのノードをプールに追加します。

2. 次のコマンドを実行して、SriovNetworkPoolConfig リソースを作成します。

   $ oc create -f sriov-nw-pool.yaml

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、sriov-test namespace を作成します。

   $ oc create namespace sriov-test

   Copy to Clipboard Toggle word wrap

4. SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

   sriov-node-policy.yaml ファイルの例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: sriov-nic-1
     namespace: openshift-sriov-network-operator
   spec:
     deviceType: netdevice
     nicSelector:
       pfNames: ["ens1"]
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     numVfs: 5
     priority: 99
     resourceName: sriov_nic_1

   Copy to Clipboard Toggle word wrap

5. 次のコマンドを実行して、SriovNetworkNodePolicy リソースを作成します。

   $ oc create -f sriov-node-policy.yaml

   Copy to Clipboard Toggle word wrap

6. SriovNetwork リソースを定義する YAML ファイルを作成します。

   sriov-network.yaml ファイルの例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: sriov-nic-1
     namespace: openshift-sriov-network-operator
   spec:
     linkState: auto
     networkNamespace: sriov-test
     resourceName: sriov_nic_1
     capabilities: '{ "mac": true, "ips": true }'
     ipam: '{ "type": "static" }'

   Copy to Clipboard Toggle word wrap

7. 次のコマンドを実行して、SriovNetwork リソースを作成します。

   $ oc create -f sriov-network.yaml

   Copy to Clipboard Toggle word wrap

8. 次のコマンドを実行して、作成したノードプールを表示します。

   $ oc get sriovNetworkpoolConfig -n openshift-sriov-network-operator

   Copy to Clipboard Toggle word wrap

   予想される出力には、worker ロールを持つすべてのノードを含むノードプールの名前 (pool-1 など) と、ノードプールの秒単位の経過時間 (67s など) が表示されます。

9. クラスター内のワークロードのドレインをトリガーするには、SriovNetworkNodePolicy リソース内の Virtual Function の数を更新します。

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

   Copy to Clipboard Toggle word wrap

10. 次のコマンドを実行して、ターゲットクラスターのドレイン状態を確認します。

    $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

    Copy to Clipboard Toggle word wrap

    出力例

    NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
    openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
    openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

    Copy to Clipboard Toggle word wrap

    ドレインプロセスが完了すると、SYNC STATUS が Succeeded に変わり、DESIRED SYNC STATE と CURRENT SYNC STATE の値が IDLE に戻ります。

手順

1. SriovNetworkNodePolicy CR を作成します。

   1. 次の YAML を sriov-network-node-policy.yaml ファイルに保存し、環境に合わせて YAML 内の値を置き換えます。

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 

      2

      
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 

      3

      Copy to Clipboard Toggle word wrap

      1

      SR-IOV ネットワークデバイスプラグインのリソース名。この YAML は、サンプルの resourceName 値を使用します。

      2

      ネットワークインターフェイスコントローラー (NIC セレクター) を使用して、Operator が設定するデバイスを識別します。

      3

      SR-IOV ネットワークリソースの NUMA ノードを Topology Manager にアドバタイスする場合を除外するには、値を true に設定します。デフォルト値は false です。

      注記

      多数の SriovNetworkNodePolicy リソースが同じ SR-IOV ネットワークリソースをターゲットとしている場合、SriovNetworkNodePolicy リソースは excludeTopology 仕様と値が同じである必要があります。そうでない場合、矛盾するポリシーは拒否されます。

   2. 次のコマンドを実行して、SriovNetworkNodePolicy リソースを作成します。成功した出力には、SriovNetworkNodePolicy リソースの名前と created ステータスがリスト表示されます。

      $ oc create -f sriov-network-node-policy.yaml

      Copy to Clipboard Toggle word wrap

2. SriovNetwork CR を作成します。

   1. 次の YAML を sriov-network.yaml ファイルに保存します。その場合、YAML 内の値は環境に合わせて置き換えます。

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 

      1

      
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      2

      
        networkNamespace: <namespace> 

      3

      
        ipam: |- 

      4

      
          {
            "type": "<ipam_type>",
          }

      Copy to Clipboard Toggle word wrap

      1

      sriov-numa-0-network は、SR-IOV ネットワークリソースの名前に置き換えます。

      2

      前の手順で作成した SriovNetworkNodePolicy CR のリソース名を指定します。この YAML は、サンプルの resourceName 値を使用します。

      3

      SR-IOV ネットワークリソースの namespace を入力します。

      4

      SR-IOV ネットワークの IP アドレス管理設定を入力します。

   2. 次のコマンドを実行して、SriovNetwork リソースを作成します。成功した出力には、SriovNetwork リソースの名前と created ステータスがリスト表示されます。

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

3. Pod を作成し、前の手順で作成した SR-IOV ネットワークリソースを割り当てます。

   1. 次の YAML を sriov-network-pod.yaml ファイルに保存します。その場合、YAML 内の値は環境に合わせて置き換えます。

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 

      1

      
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      Copy to Clipboard Toggle word wrap

      1

      これは、SriovNetworkNodePolicy リソースを使用する SriovNetwork リソースの名前です。

   2. 次のコマンドを実行して、Pod リソースを作成します。予想される出力には、Pod リソースの名前と created ステータスが表示されます。

      $ oc create -f sriov-network-pod.yaml

      Copy to Clipboard Toggle word wrap

検証

1. 次のコマンドを実行して、Pod のステータスを確認します。その場合、<pod_name> は Pod の名前に置き換えます。

   $ oc get pod <pod_name>

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

   Copy to Clipboard Toggle word wrap

2. ターゲット Pod とのデバッグセッションを開き、SR-IOV ネットワークリソースがメモリーおよび CPU リソースとは異なるノードにデプロイされていることを確認します。

   1. 次のコマンドを実行して、Pod とのデバッグセッションを開きます。その場合、<pod_name> はターゲット Pod の名前に置き換えます。

      $ oc debug pod/<pod_name>

      Copy to Clipboard Toggle word wrap

   2. /host をデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の /host にホストからのルートファイルシステムをマウントします。ルートディレクトリーを /host に変更すると、ホストファイルシステムからのバイナリーを実行できます。

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   3. 次のコマンドを実行して、CPU 割り当てに関する情報を表示します。

      $ lscpu | grep NUMA

      Copy to Clipboard Toggle word wrap

      出力例

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      Copy to Clipboard Toggle word wrap

      $ cat /proc/self/status | grep Cpus

      Copy to Clipboard Toggle word wrap

      出力例

      Cpus_allowed:	ffff
      Cpus_allowed_list:	1,3,5,7

      Copy to Clipboard Toggle word wrap

      出力には、NUMA node1 などの NUMA ノードに割り当てられる CPU (1、3、5、および 7) が表示されるはずです。SR-IOV ネットワークリソースは、NUMA node0 などの別の NUMA ノードの NIC を使用できます。ffff の 16 進値は、プロセスを実行する CPU コアを表すことに注意してください。

      $ cat  /sys/class/net/net1/device/numa_node

      Copy to Clipboard Toggle word wrap

      出力には、0 などの NUMA ノードの番号が表示されるはずです。

      注記

      excludeTopology 仕様を True に設定すると、必要なリソースが同じ NUMA ノード内に存在する可能性があります。

手順

1. SriovIBNetwork オブジェクトを作成し、YAML を <name>.yaml ファイルに保存します。<name> はこの追加ネットワークの名前です。オブジェクト仕様は以下の例のようになります。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovIBNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. オブジェクトを作成するには、以下のコマンドを入力します。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   ここで、<name> は追加ネットワークの名前を指定します。

3. オプション: 以下のコマンドを実行して、直前の手順で作成した SriovIBNetwork オブジェクトに関連付けられた NetworkAttachmentDefinition オブジェクトが存在することを確認します。<namespace> を SriovIBNetwork オブジェクトで指定した networkNamespace に置き換えます。

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

手順

1. アノテーションを Pod オブジェクトに追加します。以下のアノテーション形式のいずれかのみを使用できます。

   1. カスタマイズせずにセカンダリーネットワークをアタッチするには、次の形式でアノテーションを追加します。<network> が、Pod に関連付けるセカンダリーネットワークの名前に置き換えます。

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      複数のセカンダリーネットワークを指定するには、各ネットワークをコンマで区切ります。コンマの間にはスペースを入れないでください。同じセカンダリーネットワークを複数回指定した場合、Pod は複数のネットワークインターフェイスをそのネットワークにアタッチします。

   2. カスタマイズしてセカンダリーネットワークをアタッチするには、次の形式でアノテーションを追加します。

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default_route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      NetworkAttachmentDefinition オブジェクトによって定義されたセカンダリーネットワークの名前を指定します。

      2

      NetworkAttachmentDefinition オブジェクトが定義される namespace を指定します。

      3

      オプション: 192.168.17.1 などのデフォルトルートのオーバーライドを指定します。

2. Pod を作成するには、以下のコマンドを入力します。<name> を Pod の名前に置き換えます。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. オプション: アノテーションが Pod CR に存在することを確認するには、<name> を Pod の名前に置き換えて、以下のコマンドを入力します。

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   次の例では、example-pod Pod が net1 セカンダリーネットワークにアタッチされています。

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status パラメーターは、オブジェクトの JSON 配列です。各オブジェクトは、Pod にアタッチされているセカンダリーネットワークのステータスを表します。アノテーションの値はプレーンテキストの値として保存されます。