ホーム
製品
OpenShift Container Platform
4.20
ハードウェアネットワーク
11.3. SR-IOV ネットワークにおける LACP 状態監視用の PF Status Relay Operator を設定する

11.3. SR-IOV ネットワークにおける LACP 状態監視用の PF Status Relay Operator を設定する

PF Status Relay Operator を使用して、SR-IOV ネットワークによる Pod レベルのボンディングを使用するワークロードの Link Aggregation Control Protocol (LACP) 状態監視を有効にします。この Operator は、Physical Function (PF) 上の LACP 状態を監視し、アップストリーム障害を検出すると、アタッチされている Virtual Function (VF) のリンク状態を変更します。このアプローチにより、PF にアタッチされた VF の障害を検出し、バックアップネットワークパスへのタイムリーなフェイルオーバーを確実に実行して、ワークロードの高可用性を確保できます。

次のシナリオは、SR-IOV ネットワークの LACP 状態監視を設定および検証する方法を示しています。

ワーカーノードにホストレベルの NIC ボンディングを作成し、LACP を設定します。
結合されたインターフェイス上に Virtual Function (VF) を作成するための SR-IOV ネットワークポリシーを定義します。
PF Status Relay Operator をデプロイして、PF と LACP 状態を監視します。
アップストリームスイッチに障害が発生した場合に、これらの VF を使用する Pod がバックアップネットワークパスに自動的にフェイルオーバーすることを確認します。

次のシナリオは、SR-IOV ネットワークの LACP 状態監視を設定および検証する方法を示しています。このシナリオでは、各ノードに 2 つのポート (worker-0 と worker-1) を持つ SR-IOV ネットワークカードを使用します。両方のポートは共有スイッチにアタッチされており、LACP ボンディングをサポートします。

前提条件

ノードには SR-IOV をサポートする NIC がある。
SR-IOV Network Operator がインストールされている。
PF Status Relay Operator がインストールされている。
ワーカーノードに接続された物理スイッチポートは、高速ポーリングレートの LACP 用に設定されています。
監視する SR-IOV VF の linkState は、auto または disable に設定されます。Operator は、linkState が enable に設定された VF を無視します。SR-IOV VF のデフォルト値は linkState: auto です。

手順

次の例のような namespace.yaml ファイルを作成して、プロジェクト namespace を作成します。

namespace.yaml ファイルの例

apiVersion: v1
kind: Namespace
metadata:
  labels:
    kubernetes.io/metadata.name: sriov-operator-tests
    pod-security.kubernetes.io/audit: privileged
    pod-security.kubernetes.io/enforce: privileged
    pod-security.kubernetes.io/warn: privileged
    security.openshift.io/scc.podSecurityLabelSync: "false"
  name: sriov-operator-tests

apiVersion: v1
kind: Namespace
metadata:
  labels:
    kubernetes.io/metadata.name: sriov-operator-tests
    pod-security.kubernetes.io/audit: privileged
    pod-security.kubernetes.io/enforce: privileged
    pod-security.kubernetes.io/warn: privileged
    security.openshift.io/scc.podSecurityLabelSync: "false"
  name: sriov-operator-tests

Copy to Clipboard

Toggle word wrap

1: 高可用性 Pod をデプロイする namespace。

以下のコマンドを実行して namespace を適用します。
```
oc apply -f namespace.yaml
```
```
$ oc apply -f namespace.yaml
```
Copy to Clipboard Toggle word wrap

ホストレベルの LACP ボンディングを設定します。

worker-0 ノードの ens5f0 インターフェイスの NodeNetworkConfigurationPolicy リソースを定義する YAML ファイルを作成します。

nncpBondF0Worker0.yaml ファイルの例

apiVersion: nmstate.io/v1
kind: NodeNetworkConfigurationPolicy
metadata:
  name: example-bond-f0
spec:
  nodeSelector:
    kubernetes.io/hostname: worker-0 
  desiredState:
    interfaces:
      - name: example-bond-f0
        description: example-bond-f0
        type: bond
        state: up
        mtu: 9216
        link-aggregation:
          mode: 802.3ad 
          options:
            miimon: '100'
            lacp_rate: 'fast' 
            min_links: '1'
          port:
            - ens5f0 
      - name: ens5f0
        type: ethernet
        state: up
        mtu: 9216

apiVersion: nmstate.io/v1
kind: NodeNetworkConfigurationPolicy
metadata:
  name: example-bond-f0
spec:
  nodeSelector:
    kubernetes.io/hostname: worker-0


  desiredState:
    interfaces:
      - name: example-bond-f0
        description: example-bond-f0
        type: bond
        state: up
        mtu: 9216
        link-aggregation:
          mode: 802.3ad


          options:
            miimon: '100'
            lacp_rate: 'fast'


            min_links: '1'
          port:
            - ens5f0


      - name: ens5f0
        type: ethernet
        state: up
        mtu: 9216

Copy to Clipboard

Toggle word wrap

1: ボンディングされたインターフェイスが作成されるノード。
2: ボンディング上で LACP を有効にするには、LACP モードを 802.3ad に設定する必要があります。
3: インターフェイスとスイッチで、LACP レートを fast に設定する必要があります。fast レートでは、LACP パケットが 1 秒ごとに送信されます。
4: ボンディングに含める PF。

worker-0 ノードの ens5f1 インターフェイスの NodeNetworkConfigurationPolicy リソースを定義する YAML ファイルを作成します。

nncpBondF1Worker0.yaml ファイルの例

apiVersion: nmstate.io/v1
kind: NodeNetworkConfigurationPolicy
metadata:
  name: example-bond-f1
spec:
  nodeSelector:
    kubernetes.io/hostname: worker-0 
  desiredState:
    interfaces:
      - name: example-bond-f1
        description: example-bond-f1
        type: bond
        state: up
        mtu: 9216
        link-aggregation:
          mode: 802.3ad 
          options:
            miimon: '100'
            lacp_rate: 'fast' 
            min_links: '1'
          port:
            - ens5f1 
      - name: ens5f1
        type: ethernet
        state: up
        mtu: 9216

apiVersion: nmstate.io/v1
kind: NodeNetworkConfigurationPolicy
metadata:
  name: example-bond-f1
spec:
  nodeSelector:
    kubernetes.io/hostname: worker-0


  desiredState:
    interfaces:
      - name: example-bond-f1
        description: example-bond-f1
        type: bond
        state: up
        mtu: 9216
        link-aggregation:
          mode: 802.3ad


          options:
            miimon: '100'
            lacp_rate: 'fast'


            min_links: '1'
          port:
            - ens5f1


      - name: ens5f1
        type: ethernet
        state: up
        mtu: 9216

Copy to Clipboard

Toggle word wrap

1: ボンディングされたインターフェイスが作成されるノード。
2: ボンディング上で LACP を有効にするには、LACP モードを 802.3ad に設定する必要があります。
3: インターフェイスとスイッチで、LACP レートを fast に設定する必要があります。fast レートでは、LACP パケットが 1 秒ごとに送信されます。
4: ボンディングに含める PF。

次のコマンドを実行してリソースを適用します。

oc apply -f nncpBondF0Worker0.yaml
oc apply -f nncpBondF1Worker0.yaml

$ oc apply -f nncpBondF0Worker0.yaml
$ oc apply -f nncpBondF1Worker0.yaml

Copy to Clipboard

Toggle word wrap

ボンディングされたインターフェイスの SR-IOV ネットワーク VF を作成します。

worker-0 ノードの ens5f0 インターフェイスの SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

sriovnetworkpolicy-port1.yaml ファイルの例

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriovnetpolicy-port-0
  namespace: openshift-sriov-network-operator
spec:
  deviceType: netdevice
  nicSelector:
    pfNames:
      - ens5f0 
  nodeSelector:
    kubernetes.io/hostname: worker-0 
  numVfs: 10 
  priority: 99
  resourceName: resourceport0

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriovnetpolicy-port-0
  namespace: openshift-sriov-network-operator
spec:
  deviceType: netdevice
  nicSelector:
    pfNames:
      - ens5f0


  nodeSelector:
    kubernetes.io/hostname: worker-0


  numVfs: 10


  priority: 99
  resourceName: resourceport0

Copy to Clipboard

Toggle word wrap

1: VF の作成元となる PF。
2: VF の作成先となるノード。
3: PF 上に作成する VF の数。
4: これらの VF を要求するために Pod が使用するリソース名。

worker-0 ノードの ens5f1 インターフェイスの SriovNetworkNodePolicy リソースを定義する YAML ファイルを作成します。

sriovnetworkpolicy-port2.yaml ファイルの例

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriovnetpolicy-port-1
  namespace: openshift-sriov-network-operator
spec:
  deviceType: netdevice
  nicSelector:
    pfNames:
      - ens5f1 
  nodeSelector:
    kubernetes.io/hostname: worker-0 
  numVfs: 10 
  priority: 99
  resourceName: resourceport1

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriovnetpolicy-port-1
  namespace: openshift-sriov-network-operator
spec:
  deviceType: netdevice
  nicSelector:
    pfNames:
      - ens5f1


  nodeSelector:
    kubernetes.io/hostname: worker-0


  numVfs: 10


  priority: 99
  resourceName: resourceport1

Copy to Clipboard

Toggle word wrap

1: VF の作成元となる PF。
2: VF の作成先となるノード。
3: PF 上に作成する VF の数。
4: これらの VF を要求するために Pod が使用するリソース名。

次のコマンドを実行してリソースを適用します。

oc apply -f sriovnetworkpolicy-port1.yaml
oc apply -f sriovnetworkpolicy-port2.yaml

$ oc apply -f sriovnetworkpolicy-port1.yaml
$ oc apply -f sriovnetworkpolicy-port2.yaml

Copy to Clipboard

Toggle word wrap

PF Status Relay Operator を設定します。
1. PFLACPMonitor リソースを定義する YAML ファイルを作成します。このサンプルファイルでは、Operator が worker-0 ノード上のボンディングされたインターフェイスである ens5f0 および ens5f1 の LACP ステータスを監視するように設定します。
  pflacpmonitor.yaml ファイルの例
  apiVersion: pfstatusrelay.openshift.io/v1alpha1 kind: PFLACPMonitor metadata: namespace: openshift-pf-status-relay-operator labels: app.kubernetes.io/name: pf-status-relay-operator name: pflacpmonitor-worker-0 spec: interfaces: - ens5f0
  1
  - ens5f1 pollingInterval: 1000
  2
  nodeSelector: kubernetes.io/hostname: worker-0
  3
  
  Copy to Clipboard Toggle word wrap
  1
  監視する PF のリスト。
  2
  監視対象インターフェイスの LACP ステータスを確認するためのポーリング間隔 (ミリ秒)。最小値は 1000 です。
  3
  ターゲットインターフェイスのノード。
  重要
  ノード上の各ネットワークインターフェイスを監視するために、PFLACPMonitor カスタムリソースを 1 つだけ使用します。同じインターフェイスを対象とする複数のリソースを作成すると、PF Status Relay Operator は競合する設定を処理しません。
2. 次のコマンドを実行して、PFLACPMonitor リソースを適用します。
  $ oc apply -f pflacpmonitor.yaml
  Copy to Clipboard Toggle word wrap

検証

PF Status Relay Operator のログを確認して、LACP 状態を関ししているか検証します。

oc logs -n openshift-pf-status-relay-operator <pf_status_relay_operator_pod_name>

$ oc logs -n openshift-pf-status-relay-operator <pf_status_relay_operator_pod_name>

Copy to Clipboard

Toggle word wrap

出力例

{"time":"2025-07-24T13:35:54.653201692Z","level":"INFO","msg":"lacp is up","interface":"ens5f0"}
{"time":"2025-07-24T13:35:54.65347273Z","level":"INFO","msg":"vf link state was set","id":0,"state":"auto","interface":"ens5f0"}
...

{"time":"2025-07-24T13:35:54.653201692Z","level":"INFO","msg":"lacp is up","interface":"ens5f0"}
{"time":"2025-07-24T13:35:54.65347273Z","level":"INFO","msg":"vf link state was set","id":0,"state":"auto","interface":"ens5f0"}
...

Copy to Clipboard

Toggle word wrap

SriovNetwork リソースを適用して、sriov-operator-tests namespace 内で VF を使用できるようにします。

ens5f0 上で作成された VF の SriovNetwork リソースを定義する YAML ファイルを作成します。

sriovnetwork-port1.yaml ファイルの例

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriovnetwork-port0
  namespace: openshift-sriov-network-operator
spec:
  capabilities: '{ "mac": true }'
  networkNamespace: sriov-operator-tests
  resourceName: resourceport0

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriovnetwork-port0
  namespace: openshift-sriov-network-operator
spec:
  capabilities: '{ "mac": true }'
  networkNamespace: sriov-operator-tests
  resourceName: resourceport0

Copy to Clipboard

Toggle word wrap

ens5f1 上で作成された VF の SriovNetwork リソースを定義する YAML ファイルを作成します。

sriovnetwork-port2.yaml ファイルの例

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriovnetwork-port1
  namespace: openshift-sriov-network-operator
spec:
  capabilities: '{ "mac": true }'
  networkNamespace: sriov-operator-tests
  resourceName: resourceport1

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriovnetwork-port1
  namespace: openshift-sriov-network-operator
spec:
  capabilities: '{ "mac": true }'
  networkNamespace: sriov-operator-tests
  resourceName: resourceport1

Copy to Clipboard

Toggle word wrap

次のコマンドを実行してリソースを適用します。

oc apply -f sriovnetwork-port1.yaml
oc apply -f sriovnetwork-port2.yaml

$ oc apply -f sriovnetwork-port1.yaml
$ oc apply -f sriovnetwork-port2.yaml

Copy to Clipboard

Toggle word wrap

SR-IOV VF を使用する高可用性 Pod を定義します。

NetworkAttachmentDefinition リソースを適用し、2 つの SR-IOV ネットワークを使用して active-backup ボンディングを作成します。

nad-bond.yaml ファイルの例

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: nad-bond-1
  namespace: sriov-operator-tests
spec:
  config: |-
    {"type": "bond", "cniVersion": "0.3.1", "name": "bond-net1",
    "mode": "active-backup", "failOverMac": 1, "linksInContainer": true, "miimon": "100", "mtu": 1450,
    "links": [{"name": "net1"},{"name": "net2"}], "capabilities": {"ips": true}, "ipam": {"type": "static"}}

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: nad-bond-1
  namespace: sriov-operator-tests
spec:
  config: |-
    {"type": "bond", "cniVersion": "0.3.1", "name": "bond-net1",
    "mode": "active-backup", "failOverMac": 1, "linksInContainer": true, "miimon": "100", "mtu": 1450,
    "links": [{"name": "net1"},{"name": "net2"}], "capabilities": {"ips": true}, "ipam": {"type": "static"}}

Copy to Clipboard

Toggle word wrap

linksInContainer: true は、Pod のネットワーク namespace 内にボンディングを作成します。
mode: active-backup は、active-backup モードを使用するようにボンディングを設定します。
links は、ボンディングに含める Pod レベルのインターフェイスを指定します。
重要
PF Status Relay Operator は、mode: active-backup 設定のみに、Pod レベルのボンディングの LACP 状態監視を提供します。

次のコマンドを実行して、NetworkAttachmentDefinition リソースを適用します。
```
oc apply -f nad-bond.yaml
```
```
$ oc apply -f nad-bond.yaml
```
Copy to Clipboard Toggle word wrap

active-backup モードでボンディングされたインターフェイスからの VF を使用する Pod リソースを定義する YAML ファイルを作成します。

client-bond.yaml ファイルの例

apiVersion: v1
kind: Pod
metadata:
  name: client-bond
  namespace: sriov-operator-tests
  annotations:
    k8s.v1.cni.cncf.io/networks: |- 
      [{
          "name": "sriovnetwork-port0",
          "interface": "net1",
          "mac": "<mac_address>"
        },{
          "name": "sriovnetwork-port1",
          "interface": "net2",
          "mac": "<mac_address>"
        },{
          "name": "nad-bond-1",
          "interface": "bond0",
          "ips": ["192.168.10.254/24","2001:100::254/64"],
          "mac": "<mac_address>"
      }]
spec:
  nodeName: worker-0
  containers:
    - name: client-bond
      image: quay.io/nginx/nginx-unprivileged
      imagePullPolicy: IfNotPresent
      command: ["/bin/sh", "-c", "sleep 3650d"]
      securityContext:
        privileged: true
      command: ["/bin/sleep", "3650d"]

apiVersion: v1
kind: Pod
metadata:
  name: client-bond
  namespace: sriov-operator-tests
  annotations:
    k8s.v1.cni.cncf.io/networks: |-


      [{
          "name": "sriovnetwork-port0",
          "interface": "net1",
          "mac": "<mac_address>"
        },{
          "name": "sriovnetwork-port1",
          "interface": "net2",
          "mac": "<mac_address>"
        },{
          "name": "nad-bond-1",
          "interface": "bond0",
          "ips": ["192.168.10.254/24","2001:100::254/64"],
          "mac": "<mac_address>"
      }]
spec:
  nodeName: worker-0
  containers:
    - name: client-bond
      image: quay.io/nginx/nginx-unprivileged
      imagePullPolicy: IfNotPresent
      command: ["/bin/sh", "-c", "sleep 3650d"]
      securityContext:
        privileged: true
      command: ["/bin/sleep", "3650d"]

Copy to Clipboard

Toggle word wrap

1: アノテーションは、2 つの SR-IOV VF (net1 と net2) と、それらを使用する 1 つのボンディング bond0、合計 3 つのネットワークを要求します。

次のコマンドを実行して、Pod リソースを適用します。
```
oc apply -f client-bond.yaml
```
```
$ oc apply -f client-bond.yaml
```
Copy to Clipboard Toggle word wrap

フェイルオーバーメカニズムを確認します。

次のコマンドを実行して、client-bond Pod にログインします。
```
oc rsh -n sriov-operator-tests client-bond
```
```
$ oc rsh -n sriov-operator-tests client-bond
```
Copy to Clipboard Toggle word wrap

次のコマンドを実行して、Pod レベルのボンディングの初期ステータスを確認します。

cat /proc/net/bonding/bond0

sh-4.4# cat /proc/net/bonding/bond0

Copy to Clipboard

Toggle word wrap

出力例

[root@client-bond-tlb /]# cat /proc/net/bonding/bond0
...

Bonding Mode: transmit load balancing
Transmit Hash Policy: layer2 (0)
Primary Slave: None
Currently Active Slave: net1
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: net1
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: AA:BB:CC:DD:EE:FF
Slave queue ID: 0

Slave Interface: net2
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: BB:CC:DD:EE:FF:GG

[root@client-bond-tlb /]# cat /proc/net/bonding/bond0
...

Bonding Mode: transmit load balancing
Transmit Hash Policy: layer2 (0)
Primary Slave: None
Currently Active Slave: net1
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: net1
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: AA:BB:CC:DD:EE:FF
Slave queue ID: 0

Slave Interface: net2
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: BB:CC:DD:EE:FF:GG

Copy to Clipboard

Toggle word wrap

net1 と net2 の両方のインターフェイスが稼働しています。

Pod シェルを終了します。
アップストリーム物理スイッチで LACP 障害をシミュレートします。このシナリオをシミュレートするには、障害をテストするスイッチポートで LACP トラフィックをフィルタリングできます。これにより、LACP ポーリングが失敗しても物理リンクは稼働状態で維持されます。そのために使用するコマンドは、ベンダーによって異なります。

client-bond Pod に再度ログインし、ボンディングステータスを再度確認して、Pod 内のフェイルオーバーを確認します。

cat /proc/net/bonding/bond0

sh-4.4# cat /proc/net/bonding/bond0

Copy to Clipboard

Toggle word wrap

出力例

...

Bonding Mode: transmit load balancing
Transmit Hash Policy: layer2 (0)
Primary Slave: None
Currently Active Slave: net2
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: net1
MII Status: down
Speed: Unknown
Duplex: Unknown
Link Failure Count: 1
Permanent HW addr: AA:BB:CC:DD:EE:FF
Slave queue ID: 0

Slave Interface: net2
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: BB:CC:DD:EE:FF:GG
Slave queue ID: 0

...

Bonding Mode: transmit load balancing
Transmit Hash Policy: layer2 (0)
Primary Slave: None
Currently Active Slave: net2
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: net1
MII Status: down
Speed: Unknown
Duplex: Unknown
Link Failure Count: 1
Permanent HW addr: AA:BB:CC:DD:EE:FF
Slave queue ID: 0

Slave Interface: net2
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: BB:CC:DD:EE:FF:GG
Slave queue ID: 0

Copy to Clipboard

Toggle word wrap

net1 インターフェイスはダウンしており、net2 インターフェイスがアクティブインターフェイスになっています。
client-bond Pod はリンク状態の変化を検出し、バックアップネットワークパスに切り替えます。

トップに戻る

11.3. SR-IOV ネットワークにおける LACP 状態監視用の PF Status Relay Operator を設定する

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links