9.2. 更改集群网络 MTU

流程

1. 要获得集群网络的当前 MTU，请输入以下命令：

   $ oc describe network.config cluster

   Copy to Clipboard Toggle word wrap

   输出示例

   ...
   Status:
     Cluster Network:
       Cidr:               10.217.0.0/22
       Host Prefix:        23
     Cluster Network MTU:  1400
     Network Type:         OVNKubernetes
     Service Network:
       10.217.4.0/23
   ...

   Copy to Clipboard Toggle word wrap

2. 为硬件 MTU 准备配置：

   • 如果您的硬件 MTU 通过 DHCP 指定，请使用以下 dnsmasq 配置更新 DHCP 配置：

     dhcp-option-force=26,<mtu>

     Copy to Clipboard Toggle word wrap

     其中：

     <mtu>

     指定要公告的 DHCP 服务器的硬件 MTU。

   • 如果使用 PXE 的内核命令行指定硬件 MTU，请相应地更新该配置。

   • 如果在 NetworkManager 连接配置中指定了硬件 MTU，请完成以下步骤。如果没有使用 DHCP、内核命令行或某种其他方法显式指定网络配置，则此方法是 OpenShift Container Platform 的默认方法。集群节点必须全部使用相同的底层网络配置，才能使以下过程未经修改地工作。

     1. 查找主网络接口：

        • 如果使用 OpenShift SDN 网络插件，请输入以下命令：

          $ oc debug node/<node_name> -- chroot /host ip route list match 0.0.0.0/0 | awk '{print $5 }'

          Copy to Clipboard Toggle word wrap

          其中：

          <node_name>

          指定集群中的节点的名称。

        • 如果使用 OVN-Kubernetes 网络插件，请输入以下命令：

          $ oc debug node/<node_name> -- chroot /host nmcli -g connection.interface-name c show ovs-if-phys0

          Copy to Clipboard Toggle word wrap

          其中：

          <node_name>

          指定集群中的节点的名称。

     2. 在 <interface>-mtu.conf 文件中创建以下 NetworkManager 配置：

        NetworkManager 连接配置示例

        [connection-<interface>-mtu]
        match-device=interface-name:<interface>
        ethernet.mtu=<mtu>

        Copy to Clipboard Toggle word wrap

        其中：

        <mtu>

        指定新的硬件 MTU 值。

        <interface>

        指定主网络接口名称。

     3. 创建两个 MachineConfig 对象，一个用于 control plane 节点，另一个用于集群中的 worker 节点：

        1. 在 control-plane-interface.bu 文件中创建以下 Butane 配置：

           注意

           您在配置文件中指定的 Butane 版本应与 OpenShift Container Platform 版本匹配，并且始终以 0 结尾。例如：4.16.0。有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

           variant: openshift
           version: 4.16.0
           metadata:
             name: 01-control-plane-interface
             labels:
               machineconfiguration.openshift.io/role: master
           storage:
             files:
               - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

           1

           
                 contents:
                   local: <interface>-mtu.conf 

           2

           
                 mode: 0600

           Copy to Clipboard Toggle word wrap

           1

           指定主网络接口的 NetworkManager 连接名称。

           2

           指定上一步中更新的 NetworkManager 配置文件的本地文件名。

        2. 在 worker-interface.bu 文件中创建以下 Butane 配置：

           注意

           您在配置文件中指定的 Butane 版本应与 OpenShift Container Platform 版本匹配，并且始终以 0 结尾。例如：4.16.0。有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

           variant: openshift
           version: 4.16.0
           metadata:
             name: 01-worker-interface
             labels:
               machineconfiguration.openshift.io/role: worker
           storage:
             files:
               - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

           1

           
                 contents:
                   local: <interface>-mtu.conf 

           2

           
                 mode: 0600

           Copy to Clipboard Toggle word wrap

           1

           指定主网络接口的 NetworkManager 连接名称。

           2

           指定上一步中更新的 NetworkManager 配置文件的本地文件名。

        3. 运行以下命令，从 Butane 配置创建 MachineConfig 对象：

           $ for manifest in control-plane-interface worker-interface; do
               butane --files-dir . $manifest.bu > $manifest.yaml
             done

           Copy to Clipboard Toggle word wrap
           警告

           在此流程的稍后明确指示之前，不要应用这些机器配置。应用这些机器配置现在会导致集群的稳定性丢失。

3. 要开始 MTU 迁移，请输入以下命令指定迁移配置。Machine Config Operator 在集群中执行节点的滚动重启，以准备 MTU 更改。

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": <overlay_from>, "to": <overlay_to> } , "machine": { "to" : <machine_to> } } } } }'

   Copy to Clipboard Toggle word wrap

   其中：

   <overlay_from>

   指定当前的集群网络 MTU 值。

   <overlay_to>

   指定集群网络的目标 MTU。这个值相对于 <machine_to> 的值设置。对于 OVN-Kubernetes，这个值必须比 <machine_to> 的值小 100。对于 OpenShift SDN，这个值必须比 <machine_to> 的值小 50。

   <machine_to>

   指定底层主机网络上的主网络接口的 MTU。

   增加集群 MTU 的示例

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": 1400, "to": 9000 } , "machine": { "to" : 9100} } } } }'

   Copy to Clipboard Toggle word wrap

4. 当 Machine Config Operator 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，Machine Config Operator 一次更新每个池中的一个机器，从而导致迁移总时间随着集群大小而增加。

5. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      Copy to Clipboard Toggle word wrap

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      Copy to Clipboard Toggle word wrap

   2. 验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   3. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      Copy to Clipboard Toggle word wrap

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      机器配置必须包括以下对 systemd 配置的更新：

      ExecStart=/usr/local/bin/mtu-migration.sh

      Copy to Clipboard Toggle word wrap

6. 更新底层网络接口 MTU 值：

   • 如果您要使用 NetworkManager 连接配置指定新 MTU，请输入以下命令。MachineConfig Operator 会自动执行集群中节点的滚动重启。

     $ for manifest in control-plane-interface worker-interface; do
         oc create -f $manifest.yaml
       done

     Copy to Clipboard Toggle word wrap
   • 如果您要使用 DHCP 服务器选项或内核命令行和 PXE 指定新 MTU，请对基础架构进行必要的更改。

7. 当 Machine Config Operator 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，Machine Config Operator 一次更新每个池中的一个机器，从而导致迁移总时间随着集群大小而增加。

8. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      Copy to Clipboard Toggle word wrap

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      Copy to Clipboard Toggle word wrap

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   2. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep path:

      Copy to Clipboard Toggle word wrap

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      如果机器配置被成功部署，则前面的输出会包含 /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 文件路径和 ExecStart=/usr/local/bin/mtu-migration.sh 行。

9. 完成插件的 MTU 迁移。在这两个示例命令中，<mtu> 指定了您使用 <overlay_to> 指定的新集群网络 MTU。

   • 要完成 MTU 迁移，请为 OVN-Kubernetes 网络插件输入以下命令：

     $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
       '{"spec": { "migration": null, "defaultNetwork":{ "ovnKubernetesConfig": { "mtu": <mtu> }}}}'

     Copy to Clipboard Toggle word wrap

   • 要完成 MTU 迁移，请为 OpenShift SDN 网络插件输入以下命令：

     $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
       '{"spec": { "migration": null, "defaultNetwork":{ "openshiftSDNConfig": { "mtu": <mtu> }}}}'

     Copy to Clipboard Toggle word wrap

10. 最终调整 MTU 迁移后，每个机器配置池节点都会逐个重启一个。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

    $ oc get machineconfigpools

    Copy to Clipboard Toggle word wrap

    成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

验证

1. 要获得集群网络的当前 MTU，请输入以下命令：

   $ oc describe network.config cluster

   Copy to Clipboard Toggle word wrap

2. 获取节点的主网络接口的当前 MTU：

   1. 要列出集群中的节点，请输入以下命令：

      $ oc get nodes

      Copy to Clipboard Toggle word wrap

   2. 要获取节点上主网络接口的当前 MTU 设置，请输入以下命令：

      $ oc debug node/<node> -- chroot /host ip address show <interface>

      Copy to Clipboard Toggle word wrap

      其中：

      <node>

      指定上一步中的输出节点。

      <interface>

      指定节点的主网络接口名称。

      输出示例

      ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8051

      Copy to Clipboard Toggle word wrap