26.6. 从 OpenShift SDN 网络插件迁移

流程

1. 在 OpenShift Container Platform Web 控制台中查看有限的实时迁移指标：

   1. 点 Observe Metrics。
   2. 在 Expression 框中，键入 openshift_network 并点 openshift_network_operator_live_migration_condition 选项。

2. 使用 oc CLI 查看指标：

   1. 输入以下命令为 openshift-monitoring 命名空间中的 prometheus-k8s 服务帐户生成令牌：

      $ token=`oc create token prometheus-k8s -n openshift-monitoring`

   2. 输入以下命令请求有关 openshift_network_operator_live_migration_condition 指标的信息：

      $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -k -H "Authorization: Bearer $token" 'https://thanos-querier.openshift-monitoring.svc:9091/api/v1/query?' --data-urlencode 'query=openshift_network_operator_live_migration_condition' | jq

      输出示例

       "status": "success",
        "data": {
          "resultType": "vector",
          "result": [
            {
              "metric": {
                "__name__": "openshift_network_operator_live_migration_condition",
                "container": "network-operator",
                "endpoint": "metrics",
                "instance": "10.0.83.62:9104",
                "job": "metrics",
                "namespace": "openshift-network-operator",
                "pod": "network-operator-6c87754bc6-c8qld",
                "prometheus": "openshift-monitoring/k8s",
                "service": "metrics",
                "type": "NetworkTypeMigrationInProgress"
              },
              "value": [
                1717653579.587,
                "1"
              ]
            },
      ...

流程

1. 安装 ansible-core 软件包，最低为 2.15 版本。以下示例命令演示了如何在 Red Hat Enterprise Linux (RHEL)上安装 ansible-core 软件包：

   $ sudo dnf install -y ansible-core

2. 创建 ansible.cfg 文件，并将类似以下示例的信息添加到该文件中。确保该文件存在于与 ansible-galaxy 命令和 playbook 运行相同的目录中。

   $ cat << EOF >> ansible.cfg
   [galaxy]
   server_list = automation_hub, validated
   
   [galaxy_server.automation_hub]
   url=https://console.redhat.com/api/automation-hub/content/published/
   auth_url=https://sso.redhat.com/auth/realms/redhat-external/protocol/openid-connect/token
   token=
   
   #[galaxy_server.release_galaxy]
   #url=https://galaxy.ansible.com/
   
   [galaxy_server.validated]
   url=https://console.redhat.com/api/automation-hub/content/validated/
   auth_url=https://sso.redhat.com/auth/realms/redhat-external/protocol/openid-connect/token
   token=
   EOF

3. 在 Ansible Automation Platform web 控制台中进入 Connect to Hub 页并完成以下步骤：

   1. 在页的离线令牌部分中，点 Load token 按钮。
   2. 在令牌加载后，点 Copy to clipboard 图标。
   3. 打开 ansible.cfg 文件，并将 API 令牌粘贴到 token= 参数中。对 ansible.cfg 文件中指定的服务器 URL 进行身份验证需要 API 令牌。

4. 输入以下 ansible-galaxy 命令，安装 network.offline_migration_sdn_to_ovnk Ansible 集合：

   $ ansible-galaxy collection install network.offline_migration_sdn_to_ovnk

5. 验证您系统上是否安装了 network.offline_migration_sdn_to_ovnk Ansible 集合：

   $ ansible-galaxy collection list | grep network.offline_migration_sdn_to_ovnk

   输出示例

   network.offline_migration_sdn_to_ovnk   1.0.2

   network.offline_migration_sdn_to_ovnk Ansible 集合保存在 ~/.ansible/collections/ansible_collections/network/offline_migration_sdn_to_ovnk/ 的默认路径中。

6. 在 playbook/playbook-migration.yml 文件中配置迁移功能：

   # ...
       migration_interface_name: eth0
       migration_disable_auto_migration: true
       migration_egress_ip: false
       migration_egress_firewall: false
       migration_multicast: false
       migration_routing_via_host: true
       migration_ip_forwarding: Global
       migration_cidr: "10.240.0.0/14"
       migration_prefix: 23
       migration_mtu: 1400
       migration_geneve_port: 6081
       migration_ipv4_subnet: "100.64.0.0/16"
   # ...

   migration_interface_name

   如果您在主接口上使用 NodeNetworkConfigurationPolicy (NNCP)资源，请在 migration-playbook.yml 文件中指定接口名称，以便在迁移过程中在主接口上删除 NNCP 资源。

   migration_disable_auto_migration

   禁用 OpenShift SDN CNI 插件的自动迁移功能到 OVN-Kubernetes 插件。如果禁用功能的自动迁移，还必须将 migration_egress_ip、migration_egress_firewall 和 migration_multicast 参数设置为 false。如果您需要启用功能的自动迁移，请将 参数设置为 false。

   migration_routing_via_host

   设置为 true，以配置本地网关模式或 false，来为集群中的节点配置共享网关模式。默认值为 false。在本地网关模式中，流量通过主机网络堆栈路由。在共享网关模式中，流量不会通过主机网络堆栈路由。

   migration_ip_forwarding

   如果您配置了本地网关模式，如果您需要节点的主机网络充当与 OVN-Kubernetes 相关的流量的路由器，请将 IP 转发设置为 Global。

   migration_cidr

   为集群指定无类别域间路由(CIDR) IP 地址块。您不能使用任何与 10064.0.0/16 CIDR 块重叠的 CIDR 块，因为 OVN-Kubernetes 网络供应商在内部使用此块。

   migration_prefix

   确保指定了一个前缀值，这是集群中每个节点的 CIDR 块的片段。

   migration_mtu

   可选参数，在迁移过程后将特定的最大传输单元(MTU)设置为集群网络。

   migration_geneve_port

   为 OVN-Kubernetes 设置 Geneve 端口的可选参数。默认端口为 6081。

   migration_ipv4_subnet

   可选参数，用于为 OVN-Kubernetes 内部设置 IPv4 地址范围。参数的默认值为 100.64.0.0/16。

7. 要运行 playbooks/playbook-migration.yml 文件，请输入以下命令：

   $ ansible-playbook -v playbooks/playbook-migration.yml

流程

1. 如果您没有删除 Webhook，请通过创建 ValidatingWebhookConfiguration 自定义资源，然后指定 timeoutSeconds 参数的超时值，将每个 webhook 的超时值设置为 3 秒：

   oc patch ValidatingWebhookConfiguration <webhook_name> --type='json' \ 

   1

   
   -p '[{"op": "replace", "path": "/webhooks/0/timeoutSeconds", "value": 3}]'

   1

   其中 <webhook_name> 是 webhook 的名称。

2. 要备份集群网络的配置，请输入以下命令：

   $ oc get Network.config.openshift.io cluster -o yaml > cluster-openshift-sdn.yaml

3. 运行以下命令，验证 OVN_SDN_MIGRATION_TIMEOUT 环境变量是否已设置，并等于 0s ：

   #!/bin/bash
   
   if [ -n "$OVN_SDN_MIGRATION_TIMEOUT" ] && [ "$OVN_SDN_MIGRATION_TIMEOUT" = "0s" ]; then
       unset OVN_SDN_MIGRATION_TIMEOUT
   fi
   
   #loops the timeout command of the script to repeatedly check the cluster Operators until all are available.
   
   co_timeout=${OVN_SDN_MIGRATION_TIMEOUT:-1200s}
   timeout "$co_timeout" bash <<EOT
   until
     oc wait co --all --for='condition=AVAILABLE=True' --timeout=10s && \
     oc wait co --all --for='condition=PROGRESSING=False' --timeout=10s && \
     oc wait co --all --for='condition=DEGRADED=False' --timeout=10s;
   do
     sleep 10
     echo "Some ClusterOperators Degraded=False,Progressing=True,or Available=False";
   done
   EOT

4. 运行以下命令，从 Cluster Network Operator (CNO) 配置对象中删除配置：

   $ oc patch Network.operator.openshift.io cluster --type='merge' \
   --patch '{"spec":{"migration":null}}'

5. .通过完成以下步骤，删除 NodeNetworkConfigurationPolicy (NNCP)自定义资源(CR)定义 OpenShift SDN 网络插件的主网络接口：

   1. 输入以下命令检查现有 NNCP CR 是否将主接口绑定到集群：

      $ oc get nncp

      输出示例

      NAME          STATUS      REASON
      bondmaster0   Available   SuccessfullyConfigured

      Network Manager 将绑定的主接口的连接配置文件存储在 /etc/NetworkManager/system-connections 系统路径中。

   2. 从集群中删除 NNCP：

      $ oc delete nncp <nncp_manifest_filename>

6. 要为迁移准备所有节点，请运行以下命令在 CNO 配置对象上设置 migration 字段：

   $ oc patch Network.operator.openshift.io cluster --type='merge' \
     --patch '{ "spec": { "migration": { "networkType": "OVNKubernetes" } } }'

   注意

   此步骤不会立即部署 OVN-Kubernetes。相反，指定 migration 字段会触发 Machine Config Operator（MCO）将新机器配置应用到集群中的所有节点，以准备 OVN-Kubernetes 部署。

   1. 运行以下命令检查重启是否已完成：

      $ oc get mcp

   2. 运行以下命令，检查所有集群 Operator 是否可用：

      $ oc get co

   3. 另外：您可以禁用将几个 OpenShift SDN 功能自动迁移到 OVN-Kubernetes 等效功能：

      • 出口 IP
      • 出口防火墙
      • 多播

      要为之前记录的 OpenShift SDN 功能禁用配置自动迁移，请指定以下键：

      $ oc patch Network.operator.openshift.io cluster --type='merge' \
        --patch '{
          "spec": {
            "migration": {
              "networkType": "OVNKubernetes",
              "features": {
                "egressIP": <bool>,
                "egressFirewall": <bool>,
                "multicast": <bool>
              }
            }
          }
        }'

      其中：

      bool：指定是否启用功能的迁移。默认值是 true。

7. 可选： 您可以自定义 OVN-Kubernetes 的以下设置，以满足您的网络基础架构要求：

   • 最大传输单元 (MTU)。在为这个可选步骤自定义 MTU 前请考虑以下几点：

     • 如果您使用默认 MTU，并且要在迁移期间保留默认 MTU，则可以忽略这一步。
     • 如果您使用自定义 MTU，并且要在迁移过程中保留自定义 MTU，则必须在此步骤中声明自定义 MTU 值。

     • 如果要在迁移过程中更改 MTU 值，此步骤将无法正常工作。相反，您必须首先按照"选择集群 MTU"的说明进行操作。然后，您可以通过执行此步骤并声明自定义 MTU 值来保留自定义 MTU 值。

       注意

       OpenShift-SDN 和 OVN-Kubernetes 具有不同的覆盖（overlay）开销。MTU 值应遵循在 "MTU 值选择" 页面中找到的准则来选择。

   • Geneve（Generic Network Virtualization Encapsulation）覆盖网络端口
   • OVN-Kubernetes IPv4 内部子网

   要自定义之前记录的设置之一，请输入以下命令。如果您不需要更改默认值，请从补丁中省略该键。

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":<mtu>,
             "genevePort":<port>,
             "ipv4":
               "InternalJoinSubnet": "<ipv4_subnet>"
       }}}}'

   其中：

   mtu

   Geneve 覆盖网络的 MTU。这个值通常是自动配置的；但是，如果集群中的节点没有都使用相同的 MTU，那么您必须将此值明确设置为比最小节点 MTU 的值小 100。

   port

   Geneve 覆盖网络的 UDP 端口。如果没有指定值，则默认为 6081。端口不能与 OpenShift SDN 使用的 VXLAN 端口相同。VXLAN 端口的默认值为 4789。

   ipv4_subnet

   OVN-Kubernetes 内部使用的 IPv4 地址范围。您必须确保 IP 地址范围没有与 OpenShift Container Platform 安装使用的任何其他子网重叠。IP 地址范围必须大于可添加到集群的最大节点数。默认值为 100.64.0.0/16。

   更新 mtu 字段的 patch 命令示例

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":1200
       }}}}'

8. 当 MCO 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get mcp

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，MCO 会一次在一个池中更新一个机器，从而导致迁移总时间随着集群大小的增加而增加。

9. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   2. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      机器配置必须包括以下对 systemd 配置的更新：

      ExecStart=/usr/local/bin/configure-ovs.sh OVNKubernetes

   3. 如果节点一直处于 NotReady 状态，检查机器配置守护进程 pod 日志并解决所有错误。

      1. 运行以下命令列出 pod：

         $ oc get pod -n openshift-machine-config-operator

         输出示例

         NAME                                         READY   STATUS    RESTARTS   AGE
         machine-config-controller-75f756f89d-sjp8b   1/1     Running   0          37m
         machine-config-daemon-5cf4b                  2/2     Running   0          43h
         machine-config-daemon-7wzcd                  2/2     Running   0          43h
         machine-config-daemon-fc946                  2/2     Running   0          43h
         machine-config-daemon-g2v28                  2/2     Running   0          43h
         machine-config-daemon-gcl4f                  2/2     Running   0          43h
         machine-config-daemon-l5tnv                  2/2     Running   0          43h
         machine-config-operator-79d9c55d5-hth92      1/1     Running   0          37m
         machine-config-server-bsc8h                  1/1     Running   0          43h
         machine-config-server-hklrm                  1/1     Running   0          43h
         machine-config-server-k9rtx                  1/1     Running   0          43h

         配置守护进程 pod 的名称使用以下格式： machine-config-daemon-<seq>。<seq> 值是一个随机的五个字符的字母数字序列。

      2. 使用以下命令，输出在上一个输出中显示的第一个机器配置守护进程 pod 的 pod 日志：

         $ oc logs <pod> -n openshift-machine-config-operator

         其中 pod 是机器配置守护进程 pod 的名称。

      3. 解决上一命令输出中显示的日志中的任何错误。

10. 要启动迁移，请使用以下命令配置 OVN-Kubernetes 网络插件：

    • 要指定网络供应商而不更改集群网络 IP 地址块，请输入以下命令：

      $ oc patch Network.config.openshift.io cluster \
        --type='merge' --patch '{ "spec": { "networkType": "OVNKubernetes" } }'

    • 要指定不同的集群网络 IP 地址块，请输入以下命令：

      $ oc patch Network.config.openshift.io cluster \
        --type='merge' --patch '{
          "spec": {
            "clusterNetwork": [
              {
                "cidr": "<cidr>",
                "hostPrefix": <prefix>
              }
            ],
            "networkType": "OVNKubernetes"
          }
        }'

      其中 cidr 是 CIDR 块，prefix 是集群中每个节点的 CIDR 块的分片。您不能使用任何与 10064.0.0/16 CIDR 块重叠的 CIDR 块，因为 OVN-Kubernetes 网络供应商在内部使用此块。

      重要

      您无法在迁移过程中更改服务网络地址块。

11. 在继续执行后续步骤前，验证 Multus 守护进程集的 rollout 是否已完成：

    $ oc -n openshift-multus rollout status daemonset/multus

    Multus pod 的名称采用 multus-<xxxxx> 的形式，其中 <xxxxx>是由字母组成的随机序列。pod 可能需要一些时间才能重启。

    输出示例

    Waiting for daemon set "multus" rollout to finish: 1 out of 6 new pods have been updated...
    ...
    Waiting for daemon set "multus" rollout to finish: 5 of 6 updated pods are available...
    daemon set "multus" successfully rolled out

12. 要完成更改网络插件，请重新引导集群中的每个节点。您可以使用以下方法之一重新引导集群中的节点：

    重要

    以下脚本同时重新引导集群中的所有节点。这可能导致集群不稳定。另一种选择是，每次只手动重新引导一个节点。逐一重新引导节点会导致，在具有多个节点的集群中出现大量停机时间。

    在重新引导节点前，集群 Operator 无法正常工作。

    • 使用 oc rsh 命令，您可以使用类似如下的 bash 脚本：

      #!/bin/bash
      readarray -t POD_NODES <<< "$(oc get pod -n openshift-machine-config-operator -o wide| grep daemon|awk '{print $1" "$7}')"
      
      for i in "${POD_NODES[@]}"
      do
        read -r POD NODE <<< "$i"
        until oc rsh -n openshift-machine-config-operator "$POD" chroot /rootfs shutdown -r +1
          do
            echo "cannot reboot node $NODE, retry" && sleep 3
          done
      done

    • 通过 ssh 命令，您可以使用类似如下的 bash 脚本：该脚本假设您已将 sudo 配置为不提示输入密码。

      #!/bin/bash
      
      for ip in $(oc get nodes  -o jsonpath='{.items[*].status.addresses[?(@.type=="InternalIP")].address}')
      do
         echo "reboot node $ip"
         ssh -o StrictHostKeyChecking=no core@$ip sudo shutdown -r -t 3
      done

13. 确认迁移成功完成：

    1. 要确认网络插件是 OVN-Kubernetes，请输入以下命令。status.networkType 的值必须是 OVNKubernetes。

       $ oc get network.config/cluster -o jsonpath='{.status.networkType}{"\n"}'

    2. 要确认集群节点处于 Ready 状态，请输入以下命令：

       $ oc get nodes

    3. 要确认您的 pod 不在错误状态，请输入以下命令：

       $ oc get pods --all-namespaces -o wide --sort-by='{.spec.nodeName}'

       如果节点上的 pod 处于错误状态，请重新引导该节点。

    4. 要确认所有集群 Operator 没有处于异常状态，请输入以下命令：

       $ oc get co

       每个集群 Operator 的状态必须是： AVAILABLE="True"、PROGRESSING="False" 和 DEGRADED="False"。如果 Cluster Operator 不可用或降级，请检查集群 Operator 的日志以了解更多信息。

14. 只有在迁移成功且集群处于良好状态时完成以下步骤：

    1. 要从 CNO 配置对象中删除迁移配置，请输入以下命令：

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "migration": null } }'

    2. 要删除 OpenShift SDN 网络供应商的自定义配置，请输入以下命令：

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "defaultNetwork": { "openshiftSDNConfig": null } } }'

    3. 要删除 OpenShift SDN 网络供应商命名空间，请输入以下命令：

       $ oc delete namespace openshift-sdn

    4. 成功迁移操作后，输入以下命令从 network.config 自定义资源中删除 network.openshift.io/network-type-migration- 注解：

       $ oc annotate network.config cluster network.openshift.io/network-type-migration-