22.8. SR-IOV ネットワークのインターフェイスレベルのネットワーク sysctl 設定の設定

手順

1. SriovNetworkNodePolicy カスタムリソース (CR) を作成します。たとえば、次の YAML をファイル policyoneflag-sriov-node-network.yaml として保存します。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyoneflag 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyoneflag 

   3

   
     nodeSelector: 

   4

   
       feature.node.kubernetes.io/network-sriov.capable="true"
     priority: 10 

   5

   
     numVfs: 5 

   6

   
     nicSelector: 

   7

   
       pfNames: ["ens5"] 

   8

   
     deviceType: "netdevice" 

   9

   
     isRdma: false 

   10

   Copy to Clipboard Toggle word wrap

   1

   カスタムリソースオブジェクトの名前。

   2

   SR-IOV Network Operator がインストールされている namespace。

   3

   SR-IOV ネットワークデバイスプラグインのリソース名。1 つのリソース名に複数の SR-IOV ネットワークポリシーを作成できます。

   4

   ノードセレクターは設定するノードを指定します。選択したノード上の SR-IOV ネットワークデバイスのみが設定されます。SR-IOV Container Network Interface (CNI) プラグインおよびデバイスプラグインは、選択したノードにのみデプロイされます。

   5

   オプション: 優先度は 0 から 99 までの整数値で指定されます。値が小さいほど優先度が高くなります。たとえば、10 の優先度は 99 よりも高くなります。デフォルト値は 99 です。

   6

   SR-IOV 物理ネットワークデバイス用に作成する Virtual Function (VF) の数。Intel ネットワークインターフェイスコントローラー (NIC) の場合、VF の数はデバイスがサポートする VF の合計よりも大きくすることはできません。Mellanox NIC の場合、VF の数は 127 よりも大きくすることはできません。

   7

   NIC セレクターは、Operator が設定するデバイスを特定します。すべてのパラメーターの値を指定する必要はありません。意図せずにデバイスを選択しないように、ネットワークデバイスを極めて正確に特定することが推奨されます。rootDevices を指定する場合、vendor、deviceID、または pfName の値も指定する必要があります。pfNames および rootDevices の両方を同時に指定する場合、それらが同一のデバイスを参照していることを確認します。netFilter の値を指定する場合、ネットワーク ID は一意の ID であるためにその他のパラメーターを指定する必要はありません。

   8

   オプション: 1 つ以上のデバイスの物理機能 (PF) 名の配列。

   9

   オプション: Virtual Function のドライバータイプ。許可される唯一の値は netdevice です。ベアメタルノードで Mellanox NIC を DPDK モードで動作させるには、isRdma を true に設定します。

   10

   オプション: Remote Direct Memory Access (RDMA) モードを有効にするかどうかを設定します。デフォルト値は false です。isRdma パラメーターが true に設定される場合、引き続き RDMA 対応の VF を通常のネットワークデバイスとして使用できます。デバイスはどちらのモードでも使用できます。isRdma を true に設定し、追加の needVhostNet を true に設定して、Fast Datapath DPDK アプリケーションで使用する Mellanox NIC を設定します。

   注記

   vfio-pci ドライバータイプはサポートされていません。

2. SriovNetworkNodePolicy オブジェクトを作成します。

   $ oc create -f policyoneflag-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   設定の更新が適用された後に、sriov-network-operator namespace のすべての Pod が Running ステータスに移行します。

3. SR-IOV ネットワークデバイスが設定されていることを確認するには、以下のコマンドを実行します。<node_name> を、設定したばかりの SR-IOV ネットワークデバイスを持つノードの名前に置き換えます。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

   出力例

   Succeeded

   Copy to Clipboard Toggle word wrap

手順

1. 追加の SR-IOV ネットワーク割り当て用の SriovNetwork カスタムリソース (CR) を作成し、以下のサンプル CR のように metaPlugins 設定を挿入します。YAML を sriov-network-interface-sysctl.yaml ファイルとして保存します。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: onevalidflag 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyoneflag 

   3

   
     networkNamespace: sysctl-tuning-test 

   4

   
     ipam: '{ "type": "static" }' 

   5

   
     capabilities: '{ "mac": true, "ips": true }' 

   6

   
     metaPlugins : | 

   7

   
       {
         "type": "tuning",
         "capabilities":{
           "mac":true
         },
         "sysctl":{
            "net.ipv4.conf.IFNAME.accept_redirects": "1"
         }
       }

   Copy to Clipboard Toggle word wrap

   1

   オブジェクトの名前。SR-IOV Network Operator は、同じ名前を持つ NetworkAttachmentDefinition オブジェクトを作成します。

   2

   SR-IOV Network Operator がインストールされている namespace。

   3

   この追加ネットワークの SR-IOV ハードウェアを定義する SriovNetworkNodePolicy オブジェクトの spec.resourceName パラメーターの値。

   4

   SriovNetwork オブジェクトのターゲット namespace。ターゲット namespace の Pod のみを追加ネットワークに割り当てることができます。

   5

   YAML ブロックスケーラーとしての IPAM CNI プラグインの設定オブジェクトプラグインは、アタッチメント定義への IP アドレスの割り当てを管理します。

   6

   オプション: 追加のネットワークの機能を設定します。IP アドレスのサポートを有効にするには、"{ "ips": true }" を指定できます。または、MAC アドレスのサポートを有効にするには "{ "mac": true }" を指定します。

   7

   オプション: metaPlugins パラメーターは、デバイスに機能を追加するために使用されます。このユースケースでは、type フィールドを tuning に設定します。設定したいインターフェイスレベルのネットワーク sysctl を sysctl フィールドに指定します。

2. SriovNetwork リソースを作成します。

   $ oc create -f sriov-network-interface-sysctl.yaml

   Copy to Clipboard Toggle word wrap

1. Pod CR を作成します。次の YAML を examplepod.yaml ファイルとして保存します。

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {
             "name": "onevalidflag",  

   1

   
             "mac": "0a:56:0a:83:04:0c", 

   2

   
             "ips": ["10.100.100.200/24"] 

   3

   
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   SR-IOV ネットワーク割り当て定義 CR の名前。

   2

   オプション: SR-IOV ネットワーク割り当て定義 CR で定義されるリソースタイプから割り当てられる SR-IOV デバイスの MAC アドレス。この機能を使用するには、SriovNetwork オブジェクトで { "mac": true } も指定する必要があります。

   3

   オプション: SR-IOV ネットワーク割り当て定義 CR で定義されるリソースタイプから割り当てられる SR-IOV デバイスの IP アドレス。IPv4 と IPv6 アドレスの両方がサポートされます。この機能を使用するには、SriovNetwork オブジェクトで { "ips": true } も指定する必要があります。

2. Pod CR を作成します。

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、Pod が作成されていることを確認します。

   $ oc get pod -n sysctl-tuning-test

   Copy to Clipboard Toggle word wrap

   出力例

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、Pod にログインします。

   $ oc rsh -n sysctl-tuning-test tunepod

   Copy to Clipboard Toggle word wrap

5. 設定された sysctl フラグの値を確認します。次のコマンドを実行して、net.ipv4.conf.IFNAME.accept_redirects の値を見つけます。

   $ sysctl net.ipv4.conf.net1.accept_redirects

   Copy to Clipboard Toggle word wrap

   出力例

   net.ipv4.conf.net1.accept_redirects = 1

   Copy to Clipboard Toggle word wrap

手順

1. SriovNetworkNodePolicy カスタムリソース (CR) を作成します。次の YAML を policyallflags-sriov-node-network.yaml ファイルとして保存します。policyallflags を設定の名前に置き換えます。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyallflags 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyallflags 

   3

   
     nodeSelector: 

   4

   
       node.alpha.kubernetes-incubator.io/nfd-network-sriov.capable = `true`
     priority: 10 

   5

   
     numVfs: 5 

   6

   
     nicSelector: 

   7

   
       pfNames: ["ens1f0"]  

   8

   
     deviceType: "netdevice" 

   9

   
     isRdma: false 

   10

   Copy to Clipboard Toggle word wrap

   1

   カスタムリソースオブジェクトの名前。

   2

   SR-IOV Network Operator がインストールされている namespace。

   3

   SR-IOV ネットワークデバイスプラグインのリソース名。1 つのリソース名に複数の SR-IOV ネットワークポリシーを作成できます。

   4

   ノードセレクターは設定するノードを指定します。選択したノード上の SR-IOV ネットワークデバイスのみが設定されます。SR-IOV Container Network Interface (CNI) プラグインおよびデバイスプラグインは、選択したノードにのみデプロイされます。

   5

   オプション: 優先度は 0 から 99 までの整数値で指定されます。値が小さいほど優先度が高くなります。たとえば、10 の優先度は 99 よりも高くなります。デフォルト値は 99 です。

   6

   SR-IOV 物理ネットワークデバイス用に作成する Virtual Function (VF) の数。Intel ネットワークインターフェイスコントローラー (NIC) の場合、VF の数はデバイスがサポートする VF の合計よりも大きくすることはできません。Mellanox NIC の場合、VF の数は 127 よりも大きくすることはできません。

   7

   NIC セレクターは、Operator が設定するデバイスを特定します。すべてのパラメーターの値を指定する必要はありません。意図せずにデバイスを選択しないように、ネットワークデバイスを極めて正確に特定することが推奨されます。rootDevices を指定する場合、vendor、deviceID、または pfName の値も指定する必要があります。pfNames および rootDevices の両方を同時に指定する場合、それらが同一のデバイスを参照していることを確認します。netFilter の値を指定する場合、ネットワーク ID は一意の ID であるためにその他のパラメーターを指定する必要はありません。

   8

   オプション: 1 つ以上のデバイスの物理機能 (PF) 名の配列。

   9

   オプション: Virtual Function のドライバータイプ。許可される唯一の値は netdevice です。ベアメタルノードで Mellanox NIC を DPDK モードで動作させるには、isRdma を true に設定します。

   10

   オプション: Remote Direct Memory Access (RDMA) モードを有効にするかどうかを設定します。デフォルト値は false です。isRdma パラメーターが true に設定される場合、引き続き RDMA 対応の VF を通常のネットワークデバイスとして使用できます。デバイスはどちらのモードでも使用できます。isRdma を true に設定し、追加の needVhostNet を true に設定して、Fast Datapath DPDK アプリケーションで使用する Mellanox NIC を設定します。

   注記

   vfio-pci ドライバータイプはサポートされていません。

2. SriovNetworkNodePolicy オブジェクトを作成します。

   $ oc create -f policyallflags-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   設定の更新が適用された後に、sriov-network-operator namespace のすべての Pod が Running ステータスに移行します。

3. SR-IOV ネットワークデバイスが設定されていることを確認するには、以下のコマンドを実行します。<node_name> を、設定したばかりの SR-IOV ネットワークデバイスを持つノードの名前に置き換えます。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

   出力例

   Succeeded

   Copy to Clipboard Toggle word wrap

手順

1. 次の例の CR のように、ボンドされたインターフェイスの SriovNetwork カスタムリソース (CR) を作成します。YAML を sriov-network-attachment.yaml ファイルとして保存します。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: allvalidflags 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyallflags 

   3

   
     networkNamespace: sysctl-tuning-test 

   4

   
     capabilities: '{ "mac": true, "ips": true }' 

   5

   Copy to Clipboard Toggle word wrap

   1

   オブジェクトの名前。SR-IOV Network Operator は、同じ名前を持つ NetworkAttachmentDefinition オブジェクトを作成します。

   2

   SR-IOV Network Operator がインストールされている namespace。

   3

   この追加ネットワークの SR-IOV ハードウェアを定義する SriovNetworkNodePolicy オブジェクトの spec.resourceName パラメーターの値。

   4

   SriovNetwork オブジェクトのターゲット namespace。ターゲット namespace の Pod のみを追加ネットワークに割り当てることができます。

   5

   オプション: この追加ネットワークに設定する機能。IP アドレスのサポートを有効にするには、"{ "ips": true }" を指定できます。または、MAC アドレスのサポートを有効にするには "{ "mac": true }" を指定します。

2. SriovNetwork リソースを作成します。

   $ oc create -f sriov-network-attachment.yaml

   Copy to Clipboard Toggle word wrap

3. 次の CR の例のように、ボンディングのネットワークアタッチメント定義を作成します。YAML を sriov-bond-network-interface.yaml ファイルとして保存します。

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: bond-sysctl-network
     namespace: sysctl-tuning-test
   spec:
     config: '{
     "cniVersion":"0.4.0",
     "name":"bound-net",
     "plugins":[
       {
         "type":"bond", 

   1

   
         "mode": "active-backup", 

   2

   
         "failOverMac": 1, 

   3

   
         "linksInContainer": true, 

   4

   
         "miimon": "100",
         "links": [ 

   5

   
           {"name": "net1"},
           {"name": "net2"}
         ],
         "ipam":{ 

   6

   
           "type":"static"
         }
       },
       {
         "type":"tuning", 

   7

   
         "capabilities":{
           "mac":true
         },
         "sysctl":{
           "net.ipv4.conf.IFNAME.accept_redirects": "0",
           "net.ipv4.conf.IFNAME.accept_source_route": "0",
           "net.ipv4.conf.IFNAME.disable_policy": "1",
           "net.ipv4.conf.IFNAME.secure_redirects": "0",
           "net.ipv4.conf.IFNAME.send_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_source_route": "1",
           "net.ipv6.neigh.IFNAME.base_reachable_time_ms": "20000",
           "net.ipv6.neigh.IFNAME.retrans_time_ms": "2000"
         }
       }
     ]
   }'

   Copy to Clipboard Toggle word wrap

   1

   タイプはbondです。

   2

   mode 属性は、ボンドモードを指定します。サポートされているボンドモードは次のとおりです。

   • balance-rr - 0
   • active-backup - 1

   • balance-xor - 2

     balance-rr または balance-xor モードの場合には、SR-IOV Virtual Function の trust モードを on に設定する必要があります。

   3

   failover 属性は、active-backup モードでは必須です。

   4

   linksInContainer=true フラグは、必要なインターフェイスがコンテナー内にあることをボンディング CNI に通知します。デフォルトでは、Bond CNI はホスト上でこれらのインターフェイスを検索しますが、これは SRIOV および Multus との統合では機能しません。

   5

   links セクションは、結合の作成に使用するインターフェイスを定義します。デフォルトでは、Multus は接続されたインターフェイスに "net" と 1 から始まる連続した番号の名前を付けます。

   6

   YAML ブロックスケーラーとしての IPAM CNI プラグインの設定オブジェクトプラグインは、アタッチメント定義への IP アドレスの割り当てを管理します。この Pod の例では、IP アドレスは手動で設定されているため、この場合、ipam は static に設定されています。

   7

   デバイスに追加の機能を追加します。たとえば、type フィールドを tuning に設定します。設定したいインターフェイスレベルのネットワーク sysctl を sysctl フィールドに指定します。この例では、設定可能なすべてのインターフェイスレベルのネットワーク sysctl 設定を設定します。

4. ボンディングのネットワークアタッチメントリソースを作成します。

   $ oc create -f sriov-bond-network-interface.yaml

   Copy to Clipboard Toggle word wrap

1. Pod CR を作成します。たとえば、次の YAML を examplepod.yaml ファイルとして保存します。

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {"name": "allvalidflags"}, 

   1

   
           {"name": "allvalidflags"},
           {
             "name": "bond-sysctl-network",
             "interface": "bond0",
             "mac": "0a:56:0a:83:04:0c", 

   2

   
             "ips": ["10.100.100.200/24"] 

   3

   
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   SR-IOV ネットワーク割り当て定義 CR の名前。

   2

   オプション: SR-IOV ネットワーク割り当て定義 CR で定義されるリソースタイプから割り当てられる SR-IOV デバイスの MAC アドレス。この機能を使用するには、SriovNetwork オブジェクトで { "mac": true } も指定する必要があります。

   3

   オプション: SR-IOV ネットワーク割り当て定義 CR で定義されるリソースタイプから割り当てられる SR-IOV デバイスの IP アドレス。IPv4 と IPv6 アドレスの両方がサポートされます。この機能を使用するには、SriovNetwork オブジェクトで { "ips": true } も指定する必要があります。

2. YAML を適用します。

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、Pod が作成されていることを確認します。

   $ oc get pod -n sysctl-tuning-test

   Copy to Clipboard Toggle word wrap

   出力例

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、Pod にログインします。

   $ oc rsh -n sysctl-tuning-test tunepod

   Copy to Clipboard Toggle word wrap

5. 設定された sysctl フラグの値を確認します。次のコマンドを実行して、net.ipv6.neigh.IFNAME.base_reachable_time_ms の値を見つけます。

   $ sysctl net.ipv6.neigh.bond0.base_reachable_time_ms

   Copy to Clipboard Toggle word wrap

   出力例

   net.ipv6.neigh.bond0.base_reachable_time_ms = 20000

   Copy to Clipboard Toggle word wrap