11.3. SR-IOV ネットワークにおける LACP 状態監視用の PF Status Relay Operator を設定する

手順

1. 次の例のような namespace.yaml ファイルを作成して、プロジェクト namespace を作成します。

   namespace.yaml ファイルの例

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       kubernetes.io/metadata.name: sriov-operator-tests
       pod-security.kubernetes.io/audit: privileged
       pod-security.kubernetes.io/enforce: privileged
       pod-security.kubernetes.io/warn: privileged
       security.openshift.io/scc.podSecurityLabelSync: "false"
     name: sriov-operator-tests 

   1

   1

   高可用性 Pod をデプロイする namespace。

2. 以下のコマンドを実行して namespace を適用します。

   $ oc apply -f namespace.yaml

3. ホストレベルの LACP ボンディングを設定します。

   1. worker-0 ノードの ens5f0 インターフェイスの NodeNetworkConfigurationPolicy リソースを定義する YAML ファイルを作成します。

      nncpBondF0Worker0.yaml ファイルの例

      apiVersion: nmstate.io/v1
      kind: NodeNetworkConfigurationPolicy
      metadata:
        name: example-bond-f0
      spec:
        nodeSelector:
          kubernetes.io/hostname: worker-0 

      1

      
        desiredState:
          interfaces:
            - name: example-bond-f0
              description: example-bond-f0
              type: bond
              state: up
              mtu: 9216
              link-aggregation:
                mode: 802.3ad 

      2

      
                options:
                  miimon: '100'
                  lacp_rate: 'fast' 

      3

      
                  min_links: '1'
                port:
                  - ens5f0 

      4

      
            - name: ens5f0
              type: ethernet
              state: up
              mtu: 9216

      1

      ボンディングされたインターフェイスが作成されるノード。

      2

      ボンディング上で LACP を有効にするには、LACP モードを 802.3ad に設定する必要があります。

      3

      インターフェイスとスイッチで、LACP レートを fast に設定する必要があります。fast レートでは、LACP パケットが 1 秒ごとに送信されます。

      4

      ボンディングに含める PF。

   2. worker-0 ノードの ens5f1 インターフェイスの NodeNetworkConfigurationPolicy リソースを定義する YAML ファイルを作成します。

      nncpBondF1Worker0.yaml ファイルの例

      apiVersion: nmstate.io/v1
      kind: NodeNetworkConfigurationPolicy
      metadata:
        name: example-bond-f1
      spec:
        nodeSelector:
          kubernetes.io/hostname: worker-0 

      1

      
        desiredState:
          interfaces:
            - name: example-bond-f1
              description: example-bond-f1
              type: bond
              state: up
              mtu: 9216
              link-aggregation:
                mode: 802.3ad 

      2

      
                options:
                  miimon: '100'
                  lacp_rate: 'fast' 

      3

      
                  min_links: '1'
                port:
                  - ens5f1 

      4

      
            - name: ens5f1
              type: ethernet
              state: up
              mtu: 9216

      1

      ボンディングされたインターフェイスが作成されるノード。

      2

      ボンディング上で LACP を有効にするには、LACP モードを 802.3ad に設定する必要があります。

      3

      インターフェイスとスイッチで、LACP レートを fast に設定する必要があります。fast レートでは、LACP パケットが 1 秒ごとに送信されます。

      4

      ボンディングに含める PF。

   3. 次のコマンドを実行してリソースを適用します。

      $ oc apply -f nncpBondF0Worker0.yaml
      $ oc apply -f nncpBondF1Worker0.yaml

4. ボンディングされたインターフェイスの SR-IOV ネットワーク VF を作成します。

   1. worker-0 ノードの ens5f0 インターフェイスの SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

      sriovnetworkpolicy-port1.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriovnetpolicy-port-0
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames:
            - ens5f0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: worker-0 

      2

      
        numVfs: 10 

      3

      
        priority: 99
        resourceName: resourceport0 

      4

      1

      VF の作成元となる PF。

      2

      VF の作成先となるノード。

      3

      PF 上に作成する VF の数。

      4

      これらの VF を要求するために Pod が使用するリソース名。

   2. worker-0 ノードの ens5f1 インターフェイスの SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

      sriovnetworkpolicy-port2.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriovnetpolicy-port-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames:
            - ens5f1 

      1

      
        nodeSelector:
          kubernetes.io/hostname: worker-0 

      2

      
        numVfs: 10 

      3

      
        priority: 99
        resourceName: resourceport1 

      4

      1

      VF の作成元となる PF。

      2

      VF の作成先となるノード。

      3

      PF 上に作成する VF の数。

      4

      これらの VF を要求するために Pod が使用するリソース名。

   3. 次のコマンドを実行してリソースを適用します。

      $ oc apply -f sriovnetworkpolicy-port1.yaml
      $ oc apply -f sriovnetworkpolicy-port2.yaml

5. PF Status Relay Operator を設定します。

   1. PFLACPMonitor リソースを定義する YAML ファイルを作成します。このサンプルファイルでは、Operator が worker-0 ノード上のボンディングされたインターフェイスである ens5f0 および ens5f1 の LACP ステータスを監視するように設定します。

      pflacpmonitor.yaml ファイルの例

      apiVersion: pfstatusrelay.openshift.io/v1alpha1
      kind: PFLACPMonitor
      metadata:
        namespace: openshift-pf-status-relay-operator
        labels:
          app.kubernetes.io/name: pf-status-relay-operator
        name: pflacpmonitor-worker-0
      spec:
        interfaces:
          - ens5f0 

      1

      
          - ens5f1
        pollingInterval: 1000 

      2

      
        nodeSelector:
          kubernetes.io/hostname: worker-0 

      3

      1

      監視する PF のリスト。

      2

      監視対象インターフェイスの LACP ステータスを確認するためのポーリング間隔 (ミリ秒)。最小値は 1000 です。

      3

      ターゲットインターフェイスのノード。

      重要

      ノード上の各ネットワークインターフェイスを監視するために、PFLACPMonitor カスタムリソースを 1 つだけ使用します。同じインターフェイスを対象とする複数のリソースを作成すると、PF Status Relay Operator は競合する設定を処理しません。

   2. 次のコマンドを実行して、PFLACPMonitor リソースを適用します。

      $ oc apply -f pflacpmonitor.yaml

検証

1. PF Status Relay Operator のログを確認して、LACP 状態を関ししているか検証します。

   $ oc logs -n openshift-pf-status-relay-operator <pf_status_relay_operator_pod_name>

   出力例

   {"time":"2025-07-24T13:35:54.653201692Z","level":"INFO","msg":"lacp is up","interface":"ens5f0"}
   {"time":"2025-07-24T13:35:54.65347273Z","level":"INFO","msg":"vf link state was set","id":0,"state":"auto","interface":"ens5f0"}
   ...

2. SriovNetwork リソースを適用して、sriov-operator-tests namespace 内で VF を使用できるようにします。

   1. ens5f0 上で作成された VF の SriovNetwork リソースを定義する YAML ファイルを作成します。

      sriovnetwork-port1.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriovnetwork-port0
        namespace: openshift-sriov-network-operator
      spec:
        capabilities: '{ "mac": true }'
        networkNamespace: sriov-operator-tests
        resourceName: resourceport0

   2. ens5f1 上で作成された VF の SriovNetwork リソースを定義する YAML ファイルを作成します。

      sriovnetwork-port2.yaml ファイルの例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriovnetwork-port1
        namespace: openshift-sriov-network-operator
      spec:
        capabilities: '{ "mac": true }'
        networkNamespace: sriov-operator-tests
        resourceName: resourceport1

   3. 次のコマンドを実行してリソースを適用します。

      $ oc apply -f sriovnetwork-port1.yaml
      $ oc apply -f sriovnetwork-port2.yaml

3. SR-IOV VF を使用する高可用性 Pod を定義します。

   1. NetworkAttachmentDefinition リソースを適用し、2 つの SR-IOV ネットワークを使用して active-backup ボンディングを作成します。

      nad-bond.yaml ファイルの例

      apiVersion: k8s.cni.cncf.io/v1
      kind: NetworkAttachmentDefinition
      metadata:
        name: nad-bond-1
        namespace: sriov-operator-tests
      spec:
        config: |-
          {"type": "bond", "cniVersion": "0.3.1", "name": "bond-net1",
          "mode": "active-backup", "failOverMac": 1, "linksInContainer": true, "miimon": "100", "mtu": 1450,
          "links": [{"name": "net1"},{"name": "net2"}], "capabilities": {"ips": true}, "ipam": {"type": "static"}}

      • linksInContainer: true は、Pod のネットワーク namespace 内にボンディングを作成します。
      • mode: active-backup は、active-backup モードを使用するようにボンディングを設定します。

      • links は、ボンディングに含める Pod レベルのインターフェイスを指定します。

        重要

        PF Status Relay Operator は、mode: active-backup 設定のみに、Pod レベルのボンディングの LACP 状態監視を提供します。

   2. 次のコマンドを実行して、NetworkAttachmentDefinition リソースを適用します。

      $ oc apply -f nad-bond.yaml

   3. active-backup モードでボンディングされたインターフェイスからの VF を使用する Pod リソースを定義する YAML ファイルを作成します。

      client-bond.yaml ファイルの例

      apiVersion: v1
      kind: Pod
      metadata:
        name: client-bond
        namespace: sriov-operator-tests
        annotations:
          k8s.v1.cni.cncf.io/networks: |- 

      1

      
            [{
                "name": "sriovnetwork-port0",
                "interface": "net1",
                "mac": "<mac_address>"
              },{
                "name": "sriovnetwork-port1",
                "interface": "net2",
                "mac": "<mac_address>"
              },{
                "name": "nad-bond-1",
                "interface": "bond0",
                "ips": ["192.168.10.254/24","2001:100::254/64"],
                "mac": "<mac_address>"
            }]
      spec:
        nodeName: worker-0
        containers:
          - name: client-bond
            image: quay.io/nginx/nginx-unprivileged
            imagePullPolicy: IfNotPresent
            command: ["/bin/sh", "-c", "sleep 3650d"]
            securityContext:
              privileged: true
            command: ["/bin/sleep", "3650d"]

      1

      アノテーションは、2 つの SR-IOV VF (net1 と net2) と、それらを使用する 1 つのボンディング bond0、合計 3 つのネットワークを要求します。

   4. 次のコマンドを実行して、Pod リソースを適用します。

      $ oc apply -f client-bond.yaml

4. フェイルオーバーメカニズムを確認します。

   1. 次のコマンドを実行して、client-bond Pod にログインします。

      $ oc rsh -n sriov-operator-tests client-bond

   2. 次のコマンドを実行して、Pod レベルのボンディングの初期ステータスを確認します。

      sh-4.4# cat /proc/net/bonding/bond0

      出力例

      [root@client-bond-tlb /]# cat /proc/net/bonding/bond0
      ...
      
      Bonding Mode: transmit load balancing
      Transmit Hash Policy: layer2 (0)
      Primary Slave: None
      Currently Active Slave: net1
      MII Status: up
      MII Polling Interval (ms): 100
      Up Delay (ms): 0
      Down Delay (ms): 0
      Peer Notification Delay (ms): 0
      
      Slave Interface: net1
      MII Status: up
      Speed: 25000 Mbps
      Duplex: full
      Link Failure Count: 0
      Permanent HW addr: AA:BB:CC:DD:EE:FF
      Slave queue ID: 0
      
      Slave Interface: net2
      MII Status: up
      Speed: 25000 Mbps
      Duplex: full
      Link Failure Count: 0
      Permanent HW addr: BB:CC:DD:EE:FF:GG

      • net1 と net2 の両方のインターフェイスが稼働しています。
   3. Pod シェルを終了します。
   4. アップストリーム物理スイッチで LACP 障害をシミュレートします。このシナリオをシミュレートするには、障害をテストするスイッチポートで LACP トラフィックをフィルタリングできます。これにより、LACP ポーリングが失敗しても物理リンクは稼働状態で維持されます。そのために使用するコマンドは、ベンダーによって異なります。

   5. client-bond Pod に再度ログインし、ボンディングステータスを再度確認して、Pod 内のフェイルオーバーを確認します。

      sh-4.4# cat /proc/net/bonding/bond0

      出力例

      ...
      
      Bonding Mode: transmit load balancing
      Transmit Hash Policy: layer2 (0)
      Primary Slave: None
      Currently Active Slave: net2
      MII Status: up
      MII Polling Interval (ms): 100
      Up Delay (ms): 0
      Down Delay (ms): 0
      Peer Notification Delay (ms): 0
      
      Slave Interface: net1
      MII Status: down
      Speed: Unknown
      Duplex: Unknown
      Link Failure Count: 1
      Permanent HW addr: AA:BB:CC:DD:EE:FF
      Slave queue ID: 0
      
      Slave Interface: net2
      MII Status: up
      Speed: 25000 Mbps
      Duplex: full
      Link Failure Count: 0
      Permanent HW addr: BB:CC:DD:EE:FF:GG
      Slave queue ID: 0

      • net1 インターフェイスはダウンしており、net2 インターフェイスがアクティブインターフェイスになっています。

        client-bond Pod はリンク状態の変化を検出し、バックアップネットワークパスに切り替えます。