23.2. 从 OpenShift SDN 集群网络供应商迁移

流程

1. 要备份集群网络的配置，请输入以下命令：

   $ oc get Network.config.openshift.io cluster -o yaml > cluster-openshift-sdn.yaml

   Copy to Clipboard Toggle word wrap

2. 要为迁移准备所有节点，请输入以下命令在 Cluster Network Operator 配置对象上设置 migration 字段：

   $ oc patch Network.operator.openshift.io cluster --type='merge' \
     --patch '{ "spec": { "migration": {"networkType": "OVNKubernetes" } } }'

   Copy to Clipboard Toggle word wrap
   注意

   此步骤不会立即部署 OVN-Kubernetes。相反，指定 migration 字段会触发 Machine Config Operator（MCO）将新机器配置应用到集群中的所有节点，以准备 OVN-Kubernetes 部署。

3. 可选： 您可以自定义 OVN-Kubernetes 的以下设置，以满足您的网络基础架构要求：

   • 最大传输单元 (MTU)。在为这个可选步骤自定义 MTU 前请考虑以下几点：

     • 如果您使用默认 MTU，并且要在迁移期间保留默认 MTU，则可以忽略这一步。
     • 如果您使用自定义 MTU，并且要在迁移过程中保留自定义 MTU，则必须在此步骤中声明自定义 MTU 值。

     • 如果要在迁移过程中更改 MTU 值，此步骤将无法正常工作。相反，您必须首先按照"选择集群 MTU"的说明进行操作。然后，您可以通过执行此步骤并声明自定义 MTU 值来保留自定义 MTU 值。

       注意

       OpenShift-SDN 和 OVN-Kubernetes 具有不同的覆盖（overlay）开销。MTU 值应遵循在 "MTU 值选择" 页面中找到的准则来选择。

   • Geneve（Generic Network Virtualization Encapsulation）覆盖网络端口

   要自定义之前记录的设置之一，请输入以下命令。如果您不需要更改默认值，请从补丁中省略该键。

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":<mtu>,
             "genevePort":<port>
       }}}}'

   Copy to Clipboard Toggle word wrap

   mtu

   Geneve 覆盖网络的 MTU。这个值通常是自动配置的；但是，如果集群中的节点没有都使用相同的 MTU，那么您必须将此值明确设置为比最小节点 MTU 的值小 100。

   port

   Geneve 覆盖网络的 UDP 端口。如果没有指定值，则默认为 6081。端口不能与 OpenShift SDN 使用的 VXLAN 端口相同。VXLAN 端口的默认值为 4789。

   更新 mtu 字段的 patch 命令示例

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":1200
       }}}}'

   Copy to Clipboard Toggle word wrap

4. 当 MCO 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get mcp

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，MCO 会一次在一个池中更新一个机器，从而导致迁移总时间随着集群大小的增加而增加。

5. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      Copy to Clipboard Toggle word wrap

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      Copy to Clipboard Toggle word wrap

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   2. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      Copy to Clipboard Toggle word wrap

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      机器配置必须包括以下对 systemd 配置的更新：

      ExecStart=/usr/local/bin/configure-ovs.sh OVNKubernetes

      Copy to Clipboard Toggle word wrap

   3. 如果节点一直处于 NotReady 状态，检查机器配置守护进程 pod 日志并解决所有错误。

      1. 运行以下命令列出 pod：

         $ oc get pod -n openshift-machine-config-operator

         Copy to Clipboard Toggle word wrap

         输出示例

         NAME                                         READY   STATUS    RESTARTS   AGE
         machine-config-controller-75f756f89d-sjp8b   1/1     Running   0          37m
         machine-config-daemon-5cf4b                  2/2     Running   0          43h
         machine-config-daemon-7wzcd                  2/2     Running   0          43h
         machine-config-daemon-fc946                  2/2     Running   0          43h
         machine-config-daemon-g2v28                  2/2     Running   0          43h
         machine-config-daemon-gcl4f                  2/2     Running   0          43h
         machine-config-daemon-l5tnv                  2/2     Running   0          43h
         machine-config-operator-79d9c55d5-hth92      1/1     Running   0          37m
         machine-config-server-bsc8h                  1/1     Running   0          43h
         machine-config-server-hklrm                  1/1     Running   0          43h
         machine-config-server-k9rtx                  1/1     Running   0          43h

         Copy to Clipboard Toggle word wrap

         配置守护进程 pod 的名称使用以下格式： machine-config-daemon-<seq>。<seq> 值是一个随机的五个字符的字母数字序列。

      2. 使用以下命令，输出在上一个输出中显示的第一个机器配置守护进程 pod 的 pod 日志：

         $ oc logs <pod> -n openshift-machine-config-operator

         Copy to Clipboard Toggle word wrap

         其中 pod 是机器配置守护进程 pod 的名称。

      3. 解决上一命令输出中显示的日志中的任何错误。

6. 要启动迁移，请使用以下命令配置 OVN-Kubernetes 集群网络供应商：

   • 要指定网络供应商而不更改集群网络 IP 地址块，请输入以下命令：

     $ oc patch Network.config.openshift.io cluster \
       --type='merge' --patch '{ "spec": { "networkType": "OVNKubernetes" } }'

     Copy to Clipboard Toggle word wrap

   • 要指定不同的集群网络 IP 地址块，请输入以下命令：

     $ oc patch Network.config.openshift.io cluster \
       --type='merge' --patch '{
         "spec": {
           "clusterNetwork": [
             {
               "cidr": "<cidr>",
               "hostPrefix": <prefix>
             }
           ],
           "networkType": "OVNKubernetes"
         }
       }'

     Copy to Clipboard Toggle word wrap

     其中 cidr 是 CIDR 块，prefix 是集群中每个节点的 CIDR 块的分片。您不能使用任何与 10064.0.0/16 CIDR 块重叠的 CIDR 块，因为 OVN-Kubernetes 网络供应商在内部使用此块。

     重要

     您无法在迁移过程中更改服务网络地址块。

7. 在继续执行后续步骤前，验证 Multus 守护进程集的 rollout 是否已完成：

   $ oc -n openshift-multus rollout status daemonset/multus

   Copy to Clipboard Toggle word wrap

   Multus pod 的名称采用 multus-<xxxxx> 的形式，其中 <xxxxx>是由字母组成的随机序列。pod 可能需要一些时间才能重启。

   输出示例

   Waiting for daemon set "multus" rollout to finish: 1 out of 6 new pods have been updated...
   ...
   Waiting for daemon set "multus" rollout to finish: 5 of 6 updated pods are available...
   daemon set "multus" successfully rolled out

   Copy to Clipboard Toggle word wrap

8. 要完成迁移，请重新引导集群中的每个节点。例如，您可以使用类似以下示例的 bash 脚本。这个脚本假定您可以使用 ssh 连接到每个主机，并将 sudo 配置为不提示输入密码。

   #!/bin/bash
   
   for ip in $(oc get nodes  -o jsonpath='{.items[*].status.addresses[?(@.type=="InternalIP")].address}')
   do
      echo "reboot node $ip"
      ssh -o StrictHostKeyChecking=no core@$ip sudo shutdown -r -t 3
   done

   Copy to Clipboard Toggle word wrap

   如果无法使用 ssh 访问，您可能无法通过基础架构供应商的管理门户重新引导每个节点。

9. 确认迁移成功完成：

   1. 要确认 CNI 集群网络供应商是 OVN-Kubernetes，请输入以下命令。status.networkType 的值必须是 OVNKubernetes。

      $ oc get network.config/cluster -o jsonpath='{.status.networkType}{"\n"}'

      Copy to Clipboard Toggle word wrap

   2. 要确认集群节点处于 Ready 状态，请输入以下命令：

      $ oc get nodes

      Copy to Clipboard Toggle word wrap

   3. 要确认您的 pod 不在错误状态，请输入以下命令：

      $ oc get pods --all-namespaces -o wide --sort-by='{.spec.nodeName}'

      Copy to Clipboard Toggle word wrap

      如果节点上的 pod 处于错误状态，请重新引导该节点。

   4. 要确认所有集群 Operator 没有处于异常状态，请输入以下命令：

      $ oc get co

      Copy to Clipboard Toggle word wrap

      每个集群 Operator 的状态必须是： AVAILABLE="True"、PROGRESSING="False" 和 DEGRADED="False"。如果 Cluster Operator 不可用或降级，请检查集群 Operator 的日志以了解更多信息。

10. 只有在迁移成功且集群处于良好状态时完成以下步骤：

    1. 要从 CNO 配置对象中删除迁移配置，请输入以下命令：

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "migration": null } }'

       Copy to Clipboard Toggle word wrap

    2. 要删除 OpenShift SDN 网络供应商的自定义配置，请输入以下命令：

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "defaultNetwork": { "openshiftSDNConfig": null } } }'

       Copy to Clipboard Toggle word wrap

    3. 要删除 OpenShift SDN 网络供应商命名空间，请输入以下命令：

       $ oc delete namespace openshift-sdn

       Copy to Clipboard Toggle word wrap