24.13. 将 Bluefield-2 从 DPU 切换到 NIC

流程

1. 输入以下命令为每个 worker 节点添加以下标签：

   $ oc label node <example_node_name_one> node-role.kubernetes.io/sriov=

   $ oc label node <example_node_name_two> node-role.kubernetes.io/sriov=

2. 为 SR-IOV Network Operator 创建机器配置池，例如：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: sriov
   spec:
     machineConfigSelector:
       matchExpressions:
       - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,sriov]}
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/sriov: ""

3. 将以下 machineconfig.yaml 文件应用到 worker 节点：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: sriov
     name: 99-bf2-dpu
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,ZmluZF9jb250YWluZXIoKSB7CiAgY3JpY3RsIHBzIC1vIGpzb24gfCBqcSAtciAnLmNvbnRhaW5lcnNbXSB8IHNlbGVjdCgubWV0YWRhdGEubmFtZT09InNyaW92LW5ldHdvcmstY29uZmlnLWRhZW1vbiIpIHwgLmlkJwp9CnVudGlsIG91dHB1dD0kKGZpbmRfY29udGFpbmVyKTsgW1sgLW4gIiRvdXRwdXQiIF1dOyBkbwogIGVjaG8gIndhaXRpbmcgZm9yIGNvbnRhaW5lciB0byBjb21lIHVwIgogIHNsZWVwIDE7CmRvbmUKISBzdWRvIGNyaWN0bCBleGVjICRvdXRwdXQgL2JpbmRhdGEvc2NyaXB0cy9iZjItc3dpdGNoLW1vZGUuc2ggIiRAIgo=
           mode: 0755
           overwrite: true
           path: /etc/default/switch_in_sriov_config_daemon.sh
       systemd:
         units:
         - name: dpu-switch.service
           enabled: true
           contents: |
             [Unit]
             Description=Switch BlueField2 card to NIC/DPU mode
             RequiresMountsFor=%t/containers
             Wants=network.target
             After=network-online.target kubelet.service
             [Service]
             SuccessExitStatus=0 120
             RemainAfterExit=True
             ExecStart=/bin/bash -c '/etc/default/switch_in_sriov_config_daemon.sh nic || shutdown -r now' 1
             Type=oneshot
             [Install]
             WantedBy=multi-user.target

   1

   可选：可以选择性地指定特定卡的 PCI 地址，如 ExecStart=/bin/bash -c '/etc/default/switch_in_sriov_config_daemon.sh nic 0000:5e:00.0 || echo done'。默认情况下会选择第一个设备。如果有多个设备，您必须指定要使用的 PCI 地址。在将 Bluefield-2 从 DPU 模式切换到 NIC 模式的所有节点上，PCI 地址必须相同。

4. 等待 worker 节点重启。重启后，worker 节点上的 Bluefield-2 网络设备切换到 NIC 模式。
5. 可选：您可能需要重启主机硬件，因为最新的 Bluefield-2 固件版本需要硬件重启来切换到 NIC 模式。