高级网络

流程

1. 为硬件 MTU 准备配置：

   • 如果您的硬件 MTU 通过 DHCP 指定，请使用以下 dnsmasq 配置更新 DHCP 配置：

     dhcp-option-force=26,<mtu>

     Copy to Clipboard Toggle word wrap

     其中：

     <mtu>

     指定要公告的 DHCP 服务器的硬件 MTU。

   • 如果使用 PXE 的内核命令行指定硬件 MTU，请相应地更新该配置。

   • 如果在 NetworkManager 连接配置中指定了硬件 MTU，请完成以下步骤。如果没有使用 DHCP、内核命令行或某种其他方法显式指定网络配置，则此方法是 OpenShift Container Platform 的默认方法。集群节点必须全部使用相同的底层网络配置，才能使以下过程未经修改地工作。

     1. 输入以下命令查找主网络接口：

        $ oc debug node/<node_name> -- chroot /host nmcli -g connection.interface-name c show ovs-if-phys0

        Copy to Clipboard Toggle word wrap

        其中：

        <node_name>

        指定集群中的节点的名称。

     2. 在 <interface>-mtu.conf 文件中创建以下 NetworkManager 配置：

        [connection-<interface>-mtu]
        match-device=interface-name:<interface>
        ethernet.mtu=<mtu>

        Copy to Clipboard Toggle word wrap

        其中：

        <interface>

        指定主网络接口名称。

        <mtu>

        指定新的硬件 MTU 值。

流程

1. 创建两个 MachineConfig 对象，一个用于 control plane 节点，另一个用于集群中的 worker 节点：

   1. 在 control-plane-interface.bu 文件中创建以下 Butane 配置：

      注意

      您在配置文件中指定的 Butane 版本应与 OpenShift Container Platform 版本匹配，并且始终以 0 结尾。例如： 4.20.0。有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

      variant: openshift
      version: 4.20.0
      metadata:
        name: 01-control-plane-interface
        labels:
          machineconfiguration.openshift.io/role: master
      storage:
        files:
          - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

      1

      
            contents:
              local: <interface>-mtu.conf 

      2

      
            mode: 0600

      Copy to Clipboard Toggle word wrap

      1

      指定主网络接口的 NetworkManager 连接名称。

      2

      指定上一步中更新的 NetworkManager 配置文件的本地文件名。

   2. 在 worker-interface.bu 文件中创建以下 Butane 配置：

      注意

      您在配置文件中指定的 Butane 版本应与 OpenShift Container Platform 版本匹配，并且始终以 0 结尾。例如： 4.20.0。有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

      variant: openshift
      version: 4.20.0
      metadata:
        name: 01-worker-interface
        labels:
          machineconfiguration.openshift.io/role: worker
      storage:
        files:
          - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

      1

      
            contents:
              local: <interface>-mtu.conf 

      2

      
            mode: 0600

      Copy to Clipboard Toggle word wrap

      1

      指定主网络接口的 NetworkManager 连接名称。

      2

      指定上一步中更新的 NetworkManager 配置文件的本地文件名。

2. 运行以下命令，从 Butane 配置创建 MachineConfig 对象：

   $ for manifest in control-plane-interface worker-interface; do
       butane --files-dir . $manifest.bu > $manifest.yaml
     done

   Copy to Clipboard Toggle word wrap
   警告

   在此流程的稍后明确指示之前，不要应用这些机器配置。应用这些机器配置现在会导致集群的稳定性丢失。

流程

1. 要开始 MTU 迁移，请输入以下命令指定迁移配置。Machine Config Operator 在集群中执行节点的滚动重启，以准备 MTU 更改。

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": <overlay_from>, "to": <overlay_to> } , "machine": { "to" : <machine_to> } } } } }'

   Copy to Clipboard Toggle word wrap

   其中：

   <overlay_from>

   指定当前的集群网络 MTU 值。

   <overlay_to>

   指定集群网络的目标 MTU。这个值相对于 <machine_to> 的值设置。对于 OVN-Kubernetes，这个值必须比 <machine_to> 的值小 100。

   <machine_to>

   指定底层主机网络上的主网络接口的 MTU。

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": 1400, "to": 9000 } , "machine": { "to" : 9100} } } } }'

   Copy to Clipboard Toggle word wrap

2. 当 Machine Config Operator 更新每个机器配置池中的机器时，Operator 会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，Machine Config Operator 一次更新每个池中的一个机器，从而导致迁移总时间随着集群大小而增加。

流程

1. 更新底层网络接口 MTU 值：

   • 如果您要使用 NetworkManager 连接配置指定新 MTU，请输入以下命令。MachineConfig Operator 会自动执行集群中节点的滚动重启。

     $ for manifest in control-plane-interface worker-interface; do
         oc create -f $manifest.yaml
       done

     Copy to Clipboard Toggle word wrap
   • 如果您要使用 DHCP 服务器选项或内核命令行和 PXE 指定新 MTU，请对基础架构进行必要的更改。

2. 当 Machine Config Operator 更新每个机器配置池中的机器时，Operator 会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，Machine Config Operator 一次更新每个池中的一个机器，从而导致迁移总时间随着集群大小而增加。

3. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      Copy to Clipboard Toggle word wrap

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      Copy to Clipboard Toggle word wrap

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   2. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep path:

      Copy to Clipboard Toggle word wrap

      其中：

      <config_name>

      指定来自 machineconfiguration.openshift.io/currentConfig 字段的机器配置名称。

      如果机器配置被成功部署，则前面的输出会包含 /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 文件路径和 ExecStart=/usr/local/bin/mtu-migration.sh 行。

流程

1. 要完成 MTU 迁移，请为 OVN-Kubernetes 网络插件输入以下命令：

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": null, "defaultNetwork":{ "ovnKubernetesConfig": { "mtu": <mtu> }}}}'

   Copy to Clipboard Toggle word wrap

   其中：

   <mtu>

   指定您使用 <overlay_to> 指定的新集群网络 MTU。

2. 最终调整 MTU 迁移后，每个机器配置池节点都会逐个重启一个。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

验证

1. 要获得集群网络的当前 MTU，请输入以下命令：

   $ oc describe network.config cluster

   Copy to Clipboard Toggle word wrap

2. 获取节点的主网络接口的当前 MTU：

   1. 要列出集群中的节点，请输入以下命令：

      $ oc get nodes

      Copy to Clipboard Toggle word wrap

   2. 要获取节点上主网络接口的当前 MTU 设置，请输入以下命令：

      $ oc adm node-logs <node> -u ovs-configuration | grep configure-ovs.sh | grep mtu | grep <interface> | head -1

      Copy to Clipboard Toggle word wrap

      其中：

      <node>

      指定上一步中的输出节点。

      <interface>

      指定节点的主网络接口名称。

      输出示例

      ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8051

      Copy to Clipboard Toggle word wrap

1. 运行以下命令来创建 openshift-frr-k8s 命名空间：

   $ oc create namespace openshift-frr-k8s

   Copy to Clipboard Toggle word wrap

2. 要自动化迁移，请创建一个名为 migrate.sh 的 shell 脚本，其中包含以下内容：

   #!/bin/bash
   OLD_NAMESPACE="metallb-system"
   NEW_NAMESPACE="openshift-frr-k8s"
   FILTER_OUT="metallb-"
   oc get frrconfigurations.frrk8s.metallb.io -n "${OLD_NAMESPACE}" -o json |\
     jq -r '.items[] | select(.metadata.name | test("'"${FILTER_OUT}"'") | not)' |\
     jq -r '.metadata.namespace = "'"${NEW_NAMESPACE}"'"' |\
     oc create -f -

   Copy to Clipboard Toggle word wrap

3. 要执行迁移，请运行以下命令：

   $ bash migrate.sh

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令确认启用了 RouteAdvertisements 功能门：

   $ oc get featuregate -oyaml | grep -i routeadvertisement

   Copy to Clipboard Toggle word wrap

   输出示例

         - name: RouteAdvertisements

   Copy to Clipboard Toggle word wrap

2. 运行以下命令配置 Cluster Network Operator (CNO)：

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     -p='
       {"spec":{
         "additionalRoutingCapabilities": {
           "providers": ["FRR"]},
           "defaultNetwork":{"ovnKubernetesConfig"{
             "routeAdvertisements":"Enabled"
             }}}}'

   Copy to Clipboard Toggle word wrap

   CNO 重启所有节点可能需要几分钟时间。

3. 运行以下命令，获取节点的 IP 地址：

   $ oc get node -owide

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                                       STATUS   ROLES                  AGE   VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                                                KERNEL-VERSION                 CONTAINER-RUNTIME
   master-0                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.20   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   master-1                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.21   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   master-2                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.22   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-0                                   Ready    worker                 27h   v1.31.3   192.168.111.23   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-1                                   Ready    worker                 27h   v1.31.3   192.168.111.24   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-2                                   Ready    worker                 27h   v1.31.3   192.168.111.25   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9

   Copy to Clipboard Toggle word wrap

4. 运行以下命令，获取每个节点的默认 pod 网络：

   $ oc get node <node_name> -o=jsonpath={.metadata.annotations.k8s\\.ovn\\.org/node-subnets}

   Copy to Clipboard Toggle word wrap

   输出示例

   {"default":["10.129.0.0/23"],"ns1.udn-network-primary-layer3":["10.150.6.0/24"]}

   Copy to Clipboard Toggle word wrap

5. 在裸机虚拟机监控程序上，运行以下命令来获取要使用的外部 FRR 容器的 IP 地址：

   $ ip -j -d route get <a cluster node's IP> | jq -r '.[] | .dev' | xargs ip -d -j address show | jq -r '.[] | .addr_info[0].local'

   Copy to Clipboard Toggle word wrap

6. 为 FRR 创建一个 frr.conf 文件，其中包含每个节点的 IP 地址，如下例所示：

   frr.conf 配置文件示例

   router bgp 64512
    no bgp default ipv4-unicast
    no bgp default ipv6-unicast
    no bgp network import-check
    neighbor 192.168.111.20 remote-as 64512
    neighbor 192.168.111.20 route-reflector-client
    neighbor 192.168.111.21 remote-as 64512
    neighbor 192.168.111.21 route-reflector-client
    neighbor 192.168.111.22 remote-as 64512
    neighbor 192.168.111.22 route-reflector-client
    neighbor 192.168.111.40 remote-as 64512
    neighbor 192.168.111.40 route-reflector-client
    neighbor 192.168.111.47 remote-as 64512
    neighbor 192.168.111.47 route-reflector-client
    neighbor 192.168.111.23 remote-as 64512
    neighbor 192.168.111.23 route-reflector-client
    neighbor 192.168.111.24 remote-as 64512
    neighbor 192.168.111.24 route-reflector-client
    neighbor 192.168.111.25 remote-as 64512
    neighbor 192.168.111.25 route-reflector-client
    address-family ipv4 unicast
     network 192.168.1.0/24
     network 192.169.1.1/32
    exit-address-family
    address-family ipv4 unicast
     neighbor 192.168.111.20 activate
     neighbor 192.168.111.20 next-hop-self
     neighbor 192.168.111.21 activate
     neighbor 192.168.111.21 next-hop-self
     neighbor 192.168.111.22 activate
     neighbor 192.168.111.22 next-hop-self
     neighbor 192.168.111.40 activate
     neighbor 192.168.111.40 next-hop-self
     neighbor 192.168.111.47 activate
     neighbor 192.168.111.47 next-hop-self
     neighbor 192.168.111.23 activate
     neighbor 192.168.111.23 next-hop-self
     neighbor 192.168.111.24 activate
     neighbor 192.168.111.24 next-hop-self
     neighbor 192.168.111.25 activate
     neighbor 192.168.111.25 next-hop-self
    exit-address-family
    neighbor  remote-as 64512
    neighbor  route-reflector-client
    address-family ipv6 unicast
     network 2001:db8::/128
    exit-address-family
    address-family ipv6 unicast
     neighbor  activate
     neighbor  next-hop-self
    exit-address-family

   Copy to Clipboard Toggle word wrap

7. 创建名为 daemons 的文件，其中包含以下内容：

   daemons 配置文件示例

   # This file tells the frr package which daemons to start.
   #
   # Sample configurations for these daemons can be found in
   # /usr/share/doc/frr/examples/.
   #
   # ATTENTION:
   #
   # When activating a daemon for the first time, a config file, even if it is
   # empty, has to be present *and* be owned by the user and group "frr", else
   # the daemon will not be started by /etc/init.d/frr. The permissions should
   # be u=rw,g=r,o=.
   # When using "vtysh" such a config file is also needed. It should be owned by
   # group "frrvty" and set to ug=rw,o= though. Check /etc/pam.d/frr, too.
   #
   # The watchfrr and zebra daemons are always started.
   #
   bgpd=yes
   ospfd=no
   ospf6d=no
   ripd=no
   ripngd=no
   isisd=no
   pimd=no
   ldpd=no
   nhrpd=no
   eigrpd=no
   babeld=no
   sharpd=no
   pbrd=no
   bfdd=yes
   fabricd=no
   vrrpd=no
   
   #
   # If this option is set the /etc/init.d/frr script automatically loads
   # the config via "vtysh -b" when the servers are started.
   # Check /etc/pam.d/frr if you intend to use "vtysh"!
   #
   vtysh_enable=yes
   zebra_options="  -A 127.0.0.1 -s 90000000"
   bgpd_options="   -A 127.0.0.1"
   ospfd_options="  -A 127.0.0.1"
   ospf6d_options=" -A ::1"
   ripd_options="   -A 127.0.0.1"
   ripngd_options=" -A ::1"
   isisd_options="  -A 127.0.0.1"
   pimd_options="   -A 127.0.0.1"
   ldpd_options="   -A 127.0.0.1"
   nhrpd_options="  -A 127.0.0.1"
   eigrpd_options=" -A 127.0.0.1"
   babeld_options=" -A 127.0.0.1"
   sharpd_options=" -A 127.0.0.1"
   pbrd_options="   -A 127.0.0.1"
   staticd_options="-A 127.0.0.1"
   bfdd_options="   -A 127.0.0.1"
   fabricd_options="-A 127.0.0.1"
   vrrpd_options="  -A 127.0.0.1"
   
   # configuration profile
   #
   #frr_profile="traditional"
   #frr_profile="datacenter"
   
   #
   # This is the maximum number of FD's that will be available.
   # Upon startup this is read by the control files and ulimit
   # is called. Uncomment and use a reasonable value for your
   # setup if you are expecting a large number of peers in
   # say BGP.
   #MAX_FDS=1024
   
   # The list of daemons to watch is automatically generated by the init script.
   #watchfrr_options=""
   
   # for debugging purposes, you can specify a "wrap" command to start instead
   # of starting the daemon directly, e.g. to use valgrind on ospfd:
   #   ospfd_wrap="/usr/bin/valgrind"
   # or you can use "all_wrap" for all daemons, e.g. to use perf record:
   #   all_wrap="/usr/bin/perf record --call-graph -"
   # the normal daemon command is added to this at the end.

   Copy to Clipboard Toggle word wrap

8. 将 frr.conf 和 daemons 文件保存在同一目录中，如 /tmp/frr。

9. 运行以下命令来创建外部 FRR 容器：

   $ sudo podman run -d --privileged --network host --rm --ulimit core=-1 --name frr --volume /tmp/frr:/etc/frr quay.io/frrouting/frr:9.1.0

   Copy to Clipboard Toggle word wrap

10. 创建以下 FRRConfiguration 和 RouteAdvertisements 配置：

    1. 创建一个包含以下内容的 receive_all.yaml 文件：

       receive_all.yaml 配置文件示例

       apiVersion: frrk8s.metallb.io/v1beta1
       kind: FRRConfiguration
       metadata:
         name: receive-all
         namespace: openshift-frr-k8s
       spec:
         bgp:
           routers:
           - asn: 64512
             neighbors:
             - address: 192.168.111.1
               asn: 64512
               toReceive:
                 allowed:
                   mode: all

       Copy to Clipboard Toggle word wrap

    2. 创建一个包含以下内容的 ra.yaml 文件：

       ra.yaml 配置文件示例

       apiVersion: k8s.ovn.org/v1
       kind: RouteAdvertisements
       metadata:
         name: default
       spec:
         nodeSelector: {}
         frrConfigurationSelector: {}
         networkSelectors:
         - networkSelectionType: DefaultNetwork
         advertisements:
         - "PodNetwork"
         - "EgressIP"

       Copy to Clipboard Toggle word wrap

11. 运行以下命令应用 receive_all.yaml 和 ra.yaml 文件：

    $ for f in receive_all.yaml ra.yaml; do oc apply -f $f; done

    Copy to Clipboard Toggle word wrap

验证

1. 验证配置是否已应用：

   1. 运行以下命令验证 FRRConfiguration 配置是否已创建：

      $ oc get frrconfiguration -A

      Copy to Clipboard Toggle word wrap

      输出示例

      NAMESPACE           NAME                   AGE
      openshift-frr-k8s   ovnk-generated-6lmfb   4h47m
      openshift-frr-k8s   ovnk-generated-bhmnm   4h47m
      openshift-frr-k8s   ovnk-generated-d2rf5   4h47m
      openshift-frr-k8s   ovnk-generated-f958l   4h47m
      openshift-frr-k8s   ovnk-generated-gmsmw   4h47m
      openshift-frr-k8s   ovnk-generated-kmnqg   4h47m
      openshift-frr-k8s   ovnk-generated-wpvgb   4h47m
      openshift-frr-k8s   ovnk-generated-xq7v6   4h47m
      openshift-frr-k8s   receive-all            4h47m

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令验证 RouteAdvertisements 配置是否已创建：

      $ oc get ra -A

      Copy to Clipboard Toggle word wrap

      输出示例

      NAME      STATUS
      default   Accepted

      Copy to Clipboard Toggle word wrap

2. 运行以下命令来获取外部 FRR 容器 ID：

   $ sudo podman ps | grep frr

   Copy to Clipboard Toggle word wrap

   输出示例

   22cfc713890e  quay.io/frrouting/frr:9.1.0              /usr/lib/frr/dock...  5 hours ago   Up 5 hours ago               frr

   Copy to Clipboard Toggle word wrap

3. 使用您在上一步中获取的容器 ID 检查外部 FRR 容器的 vtysh 会话中的 BGP 邻居和路由。运行以下命令:

   $ sudo podman exec -it <container_id> vtysh -c "show ip bgp"

   Copy to Clipboard Toggle word wrap

   输出示例

   BGP table version is 10, local router ID is 192.168.111.1, vrf id 0
   Default local pref 100, local AS 64512
   Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
                  i internal, r RIB-failure, S Stale, R Removed
   Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
   Origin codes:  i - IGP, e - EGP, ? - incomplete
   RPKI validation codes: V valid, I invalid, N Not found
   
       Network          Next Hop            Metric LocPrf Weight Path
    *>i10.128.0.0/23    192.168.111.22           0    100      0 i
    *>i10.128.2.0/23    192.168.111.23           0    100      0 i
    *>i10.129.0.0/23    192.168.111.20           0    100      0 i
    *>i10.129.2.0/23    192.168.111.24           0    100      0 i
    *>i10.130.0.0/23    192.168.111.21           0    100      0 i
    *>i10.130.2.0/23    192.168.111.40           0    100      0 i
    *>i10.131.0.0/23    192.168.111.25           0    100      0 i
    *>i10.131.2.0/23    192.168.111.47           0    100      0 i
    *> 192.168.1.0/24   0.0.0.0                  0         32768 i
    *> 192.169.1.1/32   0.0.0.0                  0         32768 i

   Copy to Clipboard Toggle word wrap

4. 运行以下命令，为每个集群节点查找 frr-k8s pod：

   $ oc -n openshift-frr-k8s get pod -owide

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                                      READY   STATUS    RESTARTS   AGE   IP               NODE                                       NOMINATED NODE   READINESS GATES
   frr-k8s-86wmq                             6/6     Running   0          25h   192.168.111.20   master-0                                   <none>           <none>
   frr-k8s-h2wl6                             6/6     Running   0          25h   192.168.111.21   master-1                                   <none>           <none>
   frr-k8s-jlbgs                             6/6     Running   0          25h   192.168.111.40   node1.example.com   <none>           <none>
   frr-k8s-qc6l5                             6/6     Running   0          25h   192.168.111.25   worker-2                                   <none>           <none>
   frr-k8s-qtxdc                             6/6     Running   0          25h   192.168.111.47   node2.example.com   <none>           <none>
   frr-k8s-s5bxh                             6/6     Running   0          25h   192.168.111.24   worker-1                                   <none>           <none>
   frr-k8s-szgj9                             6/6     Running   0          25h   192.168.111.22   master-2                                   <none>           <none>
   frr-k8s-webhook-server-6cd8b8d769-kmctw   1/1     Running   0          25h   10.131.2.9       node3.example.com   <none>           <none>
   frr-k8s-zwmgh                             6/6     Running   0          25h   192.168.111.23   worker-0                                   <none>           <none>

   Copy to Clipboard Toggle word wrap

5. 在 OpenShift Container Platform 集群中，运行以下命令来检查 FRR 容器中集群节点 frr-k8s pod 上的 BGP 路由：

   $ oc -n openshift-frr-k8s -c frr rsh frr-k8s-86wmq

   Copy to Clipboard Toggle word wrap

6. 运行以下命令，检查集群节点的 IP 路由：

   sh-5.1# vtysh

   Copy to Clipboard Toggle word wrap

   输出示例

   Hello, this is FRRouting (version 8.5.3).
   Copyright 1996-2005 Kunihiro Ishiguro, et al.

   Copy to Clipboard Toggle word wrap

7. 运行以下命令检查 IP 路由：

   worker-2# show ip bgp

   Copy to Clipboard Toggle word wrap

   输出示例

   BGP table version is 10, local router ID is 192.168.111.25, vrf id 0
   Default local pref 100, local AS 64512
   Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
                  i internal, r RIB-failure, S Stale, R Removed
   Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
   Origin codes:  i - IGP, e - EGP, ? - incomplete
   RPKI validation codes: V valid, I invalid, N Not found
   
       Network          Next Hop            Metric LocPrf Weight Path
    *>i10.128.0.0/23    192.168.111.22           0    100      0 i
    *>i10.128.2.0/23    192.168.111.23           0    100      0 i
    *>i10.129.0.0/23    192.168.111.20           0    100      0 i
    *>i10.129.2.0/23    192.168.111.24           0    100      0 i
    *>i10.130.0.0/23    192.168.111.21           0    100      0 i
    *>i10.130.2.0/23    192.168.111.40           0    100      0 i
    *> 10.131.0.0/23    0.0.0.0                  0         32768 i
    *>i10.131.2.0/23    192.168.111.47           0    100      0 i
    *>i192.168.1.0/24   192.168.111.1            0    100      0 i
    *>i192.169.1.1/32   192.168.111.1            0    100      0 i
   
   Displayed  10 routes and 10 total paths

   Copy to Clipboard Toggle word wrap

8. 在 OpenShift Container Platform 集群中，运行以下命令来调试节点：

   $ oc debug node/<node_name>

   Copy to Clipboard Toggle word wrap

   输出示例

   Temporary namespace openshift-debug-lbtgh is created for debugging node...
   Starting pod/worker-2-debug-zrg4v ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.111.25
   If you don't see a command prompt, try pressing enter.

   Copy to Clipboard Toggle word wrap

9. 运行以下命令确认 BGP 路由正在公告：

   sh-5.1# ip route show | grep bgp

   Copy to Clipboard Toggle word wrap

   输出示例

   10.128.0.0/23 nhid 268 via 192.168.111.22 dev br-ex proto bgp metric 20
   10.128.2.0/23 nhid 259 via 192.168.111.23 dev br-ex proto bgp metric 20
   10.129.0.0/23 nhid 260 via 192.168.111.20 dev br-ex proto bgp metric 20
   10.129.2.0/23 nhid 261 via 192.168.111.24 dev br-ex proto bgp metric 20
   10.130.0.0/23 nhid 266 via 192.168.111.21 dev br-ex proto bgp metric 20
   10.130.2.0/23 nhid 262 via 192.168.111.40 dev br-ex proto bgp metric 20
   10.131.2.0/23 nhid 263 via 192.168.111.47 dev br-ex proto bgp metric 20
   192.168.1.0/24 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20
   192.169.1.1 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20

   Copy to Clipboard Toggle word wrap