在裸机上部署安装程序置备的集群

流程

1. 引导节点并进入 BIOS 菜单。
2. 将节点的引导模式设置为 UEFI Enabled。
3. 启用安全引导.

流程

1. 通过 ssh 登录到 provisioner 节点。

2. 创建非 root 用户(kni)并为该用户提供 sudo 权限：

   # useradd kni

   # passwd kni

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   # chmod 0440 /etc/sudoers.d/kni

3. 为新用户创建 ssh 密钥：

   # su - kni -c "ssh-keygen -t ed25519 -f /home/kni/.ssh/id_rsa -N ''"

4. 以新用户身份登录到 provisioner 节点：

   # su - kni

5. 使用 Red Hat Subscription Manager 注册 provisioner 节点：

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach
   $ sudo subscription-manager repos --enable=rhel-8-for-<architecture>-appstream-rpms --enable=rhel-8-for-<architecture>-baseos-rpms

   注意

   有关 Red Hat Subscription Manager 的详情，请参考 使用和配置 Red Hat Subscription Manager。

6. 安装以下软件包：

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

7. 修改用户，将 libvirt 组添加到新创建的用户：

   $ sudo usermod --append --groups libvirt <user>

8. 重启 firewalld 并启用 http 服务：

   $ sudo systemctl start firewalld

   $ sudo firewall-cmd --zone=public --add-service=http --permanent

   $ sudo firewall-cmd --reload

9. 启动并启用 libvirtd 服务：

   $ sudo systemctl enable libvirtd --now

10. 创建 默认 存储池并启动它：

    $ sudo virsh pool-define-as --name default --type dir --target /var/lib/libvirt/images

    $ sudo virsh pool-start default

    $ sudo virsh pool-autostart default

11. 创建 pull-secret.txt 文件：

    $ vim pull-secret.txt

    在 Web 浏览器中，进入 Install OpenShift on Bare Metal with installer-provisioned infrastructure。点 Copy pull secret。将内容粘贴到 pull-secret.txt 文件中，并将内容保存到 kni 用户的主目录中。

流程

1. 使用 ssh 命令登录节点。

2. 运行以下命令，查看节点可用的 NTP 服务器：

   $ chronyc sources

   输出示例

   MS Name/IP address         Stratum Poll Reach LastRx Last sample
   ===============================================================================
   ^+ time.cloudflare.com           3  10   377   187   -209us[ -209us] +/-   32ms
   ^+ t1.time.ir2.yahoo.com         2  10   377   185  -4382us[-4382us] +/-   23ms
   ^+ time.cloudflare.com           3  10   377   198   -996us[-1220us] +/-   33ms
   ^* brenbox.westnet.ie            1  10   377   193  -9538us[-9761us] +/-   24ms

3. 使用 ping 命令确保节点可以访问 NTP 服务器，例如：

   $ ping time.cloudflare.com

   输出示例

   PING time.cloudflare.com (162.159.200.123) 56(84) bytes of data.
   64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=1 ttl=54 time=32.3 ms
   64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=2 ttl=54 time=30.9 ms
   64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=3 ttl=54 time=36.7 ms
   ...

流程

1. 运行以下命令导出裸机网络 NIC 名称：

   $ export PUB_CONN=<baremetal_nic_name>

2. 配置裸机网络：

   注意

   执行这些步骤后 SSH 连接可能会断开。

   1. 对于使用 DHCP 的网络，运行以下命令：

      $ sudo nohup bash -c "
          nmcli con down \"$PUB_CONN\"
          nmcli con delete \"$PUB_CONN\"
          # RHEL 8.1 appends the word \"System\" in front of the connection, delete in case it exists
          nmcli con down \"System $PUB_CONN\"
          nmcli con delete \"System $PUB_CONN\"
          nmcli connection add ifname baremetal type bridge <con_name> baremetal bridge.stp no 1
          nmcli con add type bridge-slave ifname \"$PUB_CONN\" master baremetal
          pkill dhclient;dhclient baremetal
      "

      1

      将 <con_name> 替换为连接名称。

   2. 对于使用静态 IP 地址并且没有 DHCP 的网络，请运行以下命令：

      $ sudo nohup bash -c "
          nmcli con down \"$PUB_CONN\"
          nmcli con delete \"$PUB_CONN\"
          # RHEL 8.1 appends the word \"System\" in front of the connection, delete in case it exists
          nmcli con down \"System $PUB_CONN\"
          nmcli con delete \"System $PUB_CONN\"
          nmcli connection add ifname baremetal type bridge con-name baremetal bridge.stp no ipv4.method manual ipv4.addr "x.x.x.x/yy" ipv4.gateway "a.a.a.a" ipv4.dns "b.b.b.b" 1
          nmcli con add type bridge-slave ifname \"$PUB_CONN\" master baremetal
          nmcli con up baremetal
      "

      1

      将 <con_name> 替换为连接名称。将 x.x.x.x/yy 替换为网络的 IP 地址和 CIDR。将 a.a.a.a 替换为网络网关。将 b.b.b.b 替换为 DNS 服务器的 IP 地址。

3. 可选：如果您使用 provisioning 网络部署，请运行以下命令导出 provisioning 网络 NIC 名称：

   $ export PROV_CONN=<prov_nic_name>

4. 可选：如果您使用 provisioning 网络部署，请运行以下命令配置 provisioning 网络：

   $ sudo nohup bash -c "
       nmcli con down \"$PROV_CONN\"
       nmcli con delete \"$PROV_CONN\"
       nmcli connection add ifname provisioning type bridge con-name provisioning
       nmcli con add type bridge-slave ifname \"$PROV_CONN\" master provisioning
       nmcli connection modify provisioning ipv6.addresses fd00:1101::1/64 ipv6.method manual
       nmcli con down provisioning
       nmcli con up provisioning
   "

   注意

   执行这些步骤后 SSH 连接可能会断开。

   IPv6 地址可以是任何无法通过裸机网络路由的地址。

   在使用 IPv6 地址时，请确保启用了 UEFI，并将 UEFI PXE 设置设置为 IPv6 协议。

5. 可选：如果您使用 provisioning 网络部署，请运行以下命令在 provisioning 网络连接上配置 IPv4 地址：

   $ nmcli connection modify provisioning ipv4.addresses 172.22.0.254/24 ipv4.method manual

6. 运行以下命令，重新 SSH 到 provisioner 节点（如果需要）：

   # ssh kni@provisioner.<cluster-name>.<domain>

7. 运行以下命令验证连接网桥是否已正确创建：

   $ sudo nmcli con show

   输出示例

   NAME               UUID                                  TYPE      DEVICE
   baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
   provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
   virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
   bridge-slave-eno1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eno1
   bridge-slave-eno2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eno2

流程

1. 配置第一个子网与第二个子网通信：

   1. 运行以下命令，以 root 用户身份登录 control plane 节点：

      $ sudo su -

   2. 获取网络接口名称：

      # nmcli dev status

   3. 通过网关将路由添加到第二个子网(192.168.0.0)：s+

1. 应用更改：

   # nmcli connection up <interface_name>

   将 <interface_name> 替换为接口名称。

2. 验证路由表以确保路由已被成功添加：

   # ip route

3. 对第一个子网中的每个 control plane 节点重复前面的步骤。

   注意

   调整命令以匹配您的实际接口名称和网关。

   1. 将第二个子网配置为与第一个子网通信：

4. 以 root 用户身份登录远程 worker 节点：

   $ sudo su -

5. 获取网络接口名称：

   # nmcli dev status

6. 通过网关将路由添加到第一个子网 (10.0.0.0)：

   # nmcli connection modify <interface_name> +ipv4.routes "10.0.0.0/24 via <gateway>"

   将 <interface_name> 替换为接口名称。使用实际网关的 IP 地址替换 <gateway>。

   示例

   # nmcli connection modify eth0 +ipv4.routes "10.0.0.0/24 via 10.0.0.1"

7. 应用更改：

   # nmcli connection up <interface_name>

   将 <interface_name> 替换为接口名称。

8. 验证路由表以确保路由已被成功添加：

   # ip route

9. 对第二个子网中的每个 worker 节点重复前面的步骤。

   注意

   调整命令以匹配您的实际接口名称和网关。

   1. 配置网络后，测试连接以确保远程 worker 节点可以访问 control plane 节点，control plane 节点可以访问远程 worker 节点。

10. 从第一个子网中的 control plane 节点，ping 第二个子网中的远程 worker 节点：

    $ ping <remote_worker_node_ip_address>

    如果 ping 成功，这意味着第一个子网中的 control plane 节点可以访问第二个子网中的远程 worker 节点。如果您没有收到响应，请检查网络配置并重复该节点的步骤。

11. 从第二个子网中的远程 worker 节点，ping 第一个子网中的 control plane 节点：

    $ ping <control_plane_node_ip_address>

    如果 ping 成功，则意味着第二个子网中的远程 worker 节点可以访问第一个子网中的 control plane。如果您没有收到响应，请检查网络配置并重复该节点的步骤。

流程

1. 设置环境变量：

   $ export cmd=openshift-baremetal-install

   $ export pullsecret_file=~/pull-secret.txt

   $ export extract_dir=$(pwd)

2. 获取 oc 二进制文件：

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

3. 解压安装程序：

   $ sudo cp oc /usr/local/bin

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   $ sudo cp openshift-baremetal-install /usr/local/bin

流程

1. 安装 podman:

   $ sudo dnf install -y podman

2. 打开防火墙端口 8080 以用于 RHCOS 镜像缓存：

   $ sudo firewall-cmd --add-port=8080/tcp --zone=public --permanent

   $ sudo firewall-cmd --reload

3. 创建用于存储 bootstraposimage 的目录：

   $ mkdir /home/kni/rhcos_image_cache

4. 为新创建的目录设置适当的 SELinux 上下文：

   $ sudo semanage fcontext -a -t httpd_sys_content_t "/home/kni/rhcos_image_cache(/.*)?"

   $ sudo restorecon -Rv /home/kni/rhcos_image_cache/

5. 获取安装程序要在 bootstrap 虚拟机上部署的 RHCOS 镜像的 URI：

   $ export RHCOS_QEMU_URI=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk.location')

6. 获取安装程序要在 bootstrap 虚拟机上部署的镜像名称：

   $ export RHCOS_QEMU_NAME=${RHCOS_QEMU_URI##*/}

7. 获取要在 bootstrap 虚拟机上部署的 RHCOS 镜像的 SHA 哈希：

   $ export RHCOS_QEMU_UNCOMPRESSED_SHA256=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk["uncompressed-sha256"]')

8. 下载镜像并将其放在 /home/kni/rhcos_image_cache 目录中：

   $ curl -L ${RHCOS_QEMU_URI} -o /home/kni/rhcos_image_cache/${RHCOS_QEMU_NAME}

9. 为新文件确认 SELinux 类型为 httpd_sys_content_t ：

   $ ls -Z /home/kni/rhcos_image_cache

10. 创建 pod：

    $ podman run -d --name rhcos_image_cache \1
    -v /home/kni/rhcos_image_cache:/var/www/html \
    -p 8080:8080/tcp \
    registry.access.redhat.com/ubi9/httpd-24

    1

    创建名为 rhcos_image_cache 的缓存 webserver。此 pod 在 install-config.yaml 文件中为部署提供 bootstrapOSImage 镜像。

11. 生成 bootstrapOSImage 配置：

    $ export BAREMETAL_IP=$(ip addr show dev baremetal | awk '/inet /{print $2}' | cut -d"/" -f1)

    $ export BOOTSTRAP_OS_IMAGE="http://${BAREMETAL_IP}:8080/${RHCOS_QEMU_NAME}?sha256=${RHCOS_QEMU_UNCOMPRESSED_SHA256}"

    $ echo "    bootstrapOSImage=${BOOTSTRAP_OS_IMAGE}"

12. 在 platform. baremetal 下将所需的配置添加到 install-config.yaml 文件中：

    platform:
      baremetal:
        bootstrapOSImage: <bootstrap_os_image>  1

    1

    将 <bootstrap_os_image> 替换为 $BOOTSTRAP_OS_IMAGE 的值。

    如需了解更多详细信息，请参阅"配置 install-config.yaml 文件"部分。

流程

1. 创建 ignition 配置文件：

   $ ./openshift-baremetal-install --dir <cluster_configs> create ignition-configs

   将 <cluster_configs> 替换为集群配置文件的路径。

2. 创建 bootstrap_config.sh 文件：

   #!/bin/bash
   
   BOOTSTRAP_CONFIG="[connection]
   type=ethernet
   interface-name=ens3
   [ethernet]
   [ipv4]
   method=manual
   addresses=<ip_address>/<cidr>
   gateway=<gateway_ip_address>
   dns=<dns_ip_address>"
   
   cat <<_EOF_ > bootstrap_network_config.ign
   {
     "path": "/etc/NetworkManager/system-connections/ens3.nmconnection",
     "mode": 384,
     "contents": {
       "source": "data:text/plain;charset=utf-8;base64,$(echo "${BOOTSTRAP_CONFIG}" | base64 -w 0)"
     }
   }
   _EOF_
   
   mv <cluster_configs>/bootstrap.ign <cluster_configs>/bootstrap.ign.orig
   
   jq '.storage.files += $input' <cluster_configs>/bootstrap.ign.orig --slurpfile input bootstrap_network_config.ign > <cluster_configs>/bootstrap.ign

   将 <ip_address> 和 <cidr> 替换为地址范围的 IP 地址和 CIDR。使用 baremetal 网络上的网关的 IP 地址替换 <gateway_ip_address>。将 <dns_ip_address> 替换为 baremetal 网络上的 DNS 服务器的 IP 地址。将 <cluster_configs> 替换为集群配置文件的路径。

3. 使 bootstrap_config.sh 文件可执行：

   $ chmod 755 bootstrap_config.sh

4. 运行 bootstrap_config.sh 脚本来创建 bootstrap_network_config.ign 文件：

   $ ./bootstrap_config.sh

流程

1. 检查节点上的网络接口配置。
2. 关闭 DHCP 服务器并重启 OpenShift Container Platform 节点，并确保网络配置可以正常工作。

流程

1. 删除或重新格式化 bootstrap、control plane 节点和 worker 节点的磁盘。如果您在虚拟机监控程序环境中工作，您必须添加您要删除的任何磁盘。

2. 删除之前生成的工件：

   $ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \
   .openshift_install.log .openshift_install_state.json

3. 生成新清单和 Ignition 配置文件。如需更多信息，请参阅"创建 Kubernetes 清单和 Ignition 配置文件"。
4. 将安装程序创建的新 bootstrap、control plane 和计算节点 Ignition 配置文件上传到 HTTP 服务器。这将覆盖以前的 Ignition 文件。

流程

1. 为 control plane 节点创建一个 Butane 配置 99-master-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   注意

   如需有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

   但ane 配置示例

   variant: openshift
   version: 4.12.0
   metadata:
     name: 99-master-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # Use public servers from the pool.ntp.org project.
             # Please consider joining the pool (https://www.pool.ntp.org/join.html).
   
             # The Machine Config Operator manages this file
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony
   
             # Configure the control plane nodes to serve as local NTP servers
             # for all worker nodes, even if they are not in sync with an
             # upstream NTP server.
   
             # Allow NTP client access from the local network.
             allow all
             # Serve time even if not synchronized to a time source.
             local stratum 3 orphan

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

2. 使用 Butane 生成 MachineConfig 对象文件 99-master-chrony-conf-override.yaml，其中包含要发送到 control plane 节点的配置：

   $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml

3. 为引用 control plane 节点上的 NTP 服务器的 worker 节点创建 Butane 配置 99-worker-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   但ane 配置示例

   variant: openshift
   version: 4.12.0
   metadata:
     name: 99-worker-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: worker
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # The Machine Config Operator manages this file.
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

4. 使用 Butane 生成 MachineConfig 对象文件 99-worker-chrony-conf-override.yaml，其中包含要交付至 worker 节点的配置：

   $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml

5. 将 99-master-chrony-conf-override.yaml 策略应用到 control plane 节点。

   $ oc apply -f 99-master-chrony-conf-override.yaml

   输出示例

   machineconfig.machineconfiguration.openshift.io/99-master-chrony-conf-override created

6. 将 99-worker-chrony-conf-override.yaml 策略应用到 worker 节点。

   $ oc apply -f 99-worker-chrony-conf-override.yaml

   输出示例

   machineconfig.machineconfiguration.openshift.io/99-worker-chrony-conf-override created

7. 检查应用的 NTP 设置的状态。

   $ oc describe machineconfigpool

流程

1. 设置 provisioningInterface 设置时，首先确定集群节点的调配接口名称。例如： eth0 or eno1。
2. 在集群节点的 调配 网络接口上启用预引导执行环境(PXE)。

3. 检索 provisioning 网络的当前状态，并将其保存到 provisioning 自定义资源(CR)文件中：

   $ oc get provisioning -o yaml > enable-provisioning-nw.yaml

4. 修改 provisioning CR 文件：

   $ vim ~/enable-provisioning-nw.yaml

   向下滚动到 provisioningNetwork 配置设置，并将它从 Disabled 改为 Managed。然后，在 provisioningNetwork 设置后添加 provisioningIP、provisioningNetworkCIDR、provisioningDHCPRange、provisioningInterface 和 watchAllNameSpaces 配置设置。为每项设置提供适当的值。

   apiVersion: v1
   items:
   - apiVersion: metal3.io/v1alpha1
     kind: Provisioning
     metadata:
       name: provisioning-configuration
     spec:
       provisioningNetwork: 1
       provisioningIP: 2
       provisioningNetworkCIDR: 3
       provisioningDHCPRange: 4
       provisioningInterface: 5
       watchAllNameSpaces: 6

   1

   provisioningNetwork 是 Managed、Unmanaged 或 Disabled 之一。当设置为 Managed 时，Metal3 管理调配网络，CBO 使用配置的 DHCP 服务器部署 Metal3 pod。当设置为 Unmanaged 时，系统管理员手动配置 DHCP 服务器。

   2

   provisioningIP 是 DHCP 服务器和 ironic 用于调配网络的静态 IP 地址。这个静态 IP 地址必须在 provisioning 子网内，且不在 DHCP 范围内。如果配置这个设置，它必须具有有效的 IP 地址，即使 provisioning 网络是 Disabled。静态 IP 地址绑定到 metal3 pod。如果 metal3 pod 失败并移动到其他服务器，静态 IP 地址也会移到新服务器。

   3

   无类别域间路由(CIDR)地址。如果配置这个设置，它必须具有有效的 CIDR 地址，即使 provisioning 网络是 Disabled。例如：192.168.0.1/24。

   4

   DHCP 范围。此设置仅适用于 受管 置备网络。如果 provisioning 网络为 Disabled，则省略此配置设置。例如：192.168.0.64, 192.168.0.253。

   5

   集群节点上 置备 接口的 NIC 名称。provisioningInterface 设置仅适用于 受管和非受管 置备 网络。如果 provisioning 网络为 Disabled，忽略 provisioningInterface 配置设置。省略 provisioningInterface 配置设置，以使用 bootMACAddress 配置设置。

   6

   如果您希望 metal3 监视默认 openshift-machine-api 命名空间以外的命名空间，请将此设置设置为 true。默认值为 false。

5. 保存对 provisioning CR 文件的更改。

6. 将 provisioning CR 文件应用到集群：

   $ oc apply -f enable-provisioning-nw.yaml

流程

1. 获取 oc 二进制文件：

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - oc

   $ sudo cp oc /usr/local/bin

2. 使用基板管理控制器 (BMC) 关闭裸机节点，并确保它已关闭。

3. 检索裸机节点基板管理控制器的用户名和密码。然后，从用户名和密码创建 base64 字符串：

   $ echo -ne "root" | base64

   $ echo -ne "password" | base64

4. 为裸机节点创建配置文件。根据您是否使用静态配置还是 DHCP 服务器，请使用以下示例 bmh.yaml 文件，替换 YAML 中的值以匹配您的环境：

   $ vim bmh.yaml

   • 静态配置 bmh.yaml ：

     ---
     apiVersion: v1 1
     kind: Secret
     metadata:
      name: openshift-worker-<num>-network-config-secret 2
      namespace: openshift-machine-api
     type: Opaque
     stringData:
      nmstate: | 3
       interfaces: 4
       - name: <nic1_name> 5
         type: ethernet
         state: up
         ipv4:
           address:
           - ip: <ip_address> 6
             prefix-length: 24
           enabled: true
       dns-resolver:
         config:
           server:
           - <dns_ip_address> 7
       routes:
         config:
         - destination: 0.0.0.0/0
           next-hop-address: <next_hop_ip_address> 8
           next-hop-interface: <next_hop_nic1_name> 9
     ---
     apiVersion: v1
     kind: Secret
     metadata:
       name: openshift-worker-<num>-bmc-secret 10
       namespace: openshift-machine-api
     type: Opaque
     data:
       username: <base64_of_uid> 11
       password: <base64_of_pwd> 12
     ---
     apiVersion: metal3.io/v1alpha1
     kind: BareMetalHost
     metadata:
       name: openshift-worker-<num> 13
       namespace: openshift-machine-api
     spec:
       online: True
       bootMACAddress: <nic1_mac_address> 14
       bmc:
         address: <protocol>://<bmc_url> 15
         credentialsName: openshift-worker-<num>-bmc-secret 16
         disableCertificateVerification: True 17
         username: <bmc_username> 18
         password: <bmc_password> 19
       rootDeviceHints:
         deviceName: <root_device_hint> 20
       preprovisioningNetworkDataName: openshift-worker-<num>-network-config-secret 21

     1

     要为新创建的节点配置网络接口，请指定包含网络配置的 secret 的名称。按照 nmstate 语法为节点定义网络配置。有关配置 NMState 语法的详情，请参阅"可选：在 install-config.yaml 文件中配置主机网络接口"。

     2 10 13 16

     在 name、credentialsName 字段和 preprovisioningNetworkDataName 字段中，使用裸机节点的 worker 数量替换 <num>。

     3

     添加 NMState YAML 语法来配置主机接口。

     4

     可选：如果您使用 nmstate 配置网络接口，并且您要禁用接口，请将 state: 设置为 enabled: false，如下所示：

     ---
        interfaces:
        - name: <nic_name>
          type: ethernet
          state: up
          ipv4:
            enabled: false
          ipv6:
            enabled: false

     5 6 7 8 9

     使用适当的值替换 <nic1_name>, <ip_address>, <dns_ip_address>, <next_hop_ip_address> 和 <next_hop_nic1_name>。

     11 12

     将 <base64_of_uid> 和 <base64_of_pwd> 替换为用户名和密码的 base64 字符串。

     14

     将 <nic1_mac_address> 替换为裸机节点第一个 NIC 的 MAC 地址。如需了解更多 BMC 配置选项，请参阅"BMC 寻址"部分。

     15

     将 <protocol> 替换为 BMC 协议，如 IPMI、RedFish 或其他协议。将 <bmc_url> 替换为裸机节点基板管理控制器的 URL。

     17

     要跳过证书验证，将 disableCertificateVerification 设为 true。

     18 19

     将 <bmc_username> 和 <bmc_password> 替换为 BMC 用户名和密码的字符串。

     20

     可选：如果您指定了 root 设备提示，将 <root_device_hint> 替换为设备路径。

     21

     可选： 如果您为新创建的节点配置了网络接口，请在 BareMetalHost CR 的 preprovisioningNetworkDataName 中提供网络配置 secret 名称。

   • DHCP 配置 bmh.yaml ：

     ---
     apiVersion: v1
     kind: Secret
     metadata:
       name: openshift-worker-<num>-bmc-secret 1
       namespace: openshift-machine-api
     type: Opaque
     data:
       username: <base64_of_uid> 2
       password: <base64_of_pwd> 3
     ---
     apiVersion: metal3.io/v1alpha1
     kind: BareMetalHost
     metadata:
       name: openshift-worker-<num> 4
       namespace: openshift-machine-api
     spec:
       online: True
       bootMACAddress: <nic1_mac_address> 5
       bmc:
         address: <protocol>://<bmc_url> 6
         credentialsName: openshift-worker-<num>-bmc-secret 7
         disableCertificateVerification: True 8
         username: <bmc_username> 9
         password: <bmc_password> 10
       rootDeviceHints:
         deviceName: <root_device_hint> 11
       preprovisioningNetworkDataName: openshift-worker-<num>-network-config-secret 12

     1 4 7

     在 name、credentialsName 字段和 preprovisioningNetworkDataName 字段中，使用裸机节点的 worker 数量替换 <num>。

     2 3

     将 <base64_of_uid> 和 <base64_of_pwd> 替换为用户名和密码的 base64 字符串。

     5

     将 <nic1_mac_address> 替换为裸机节点第一个 NIC 的 MAC 地址。如需了解更多 BMC 配置选项，请参阅"BMC 寻址"部分。

     6

     将 <protocol> 替换为 BMC 协议，如 IPMI、RedFish 或其他协议。将 <bmc_url> 替换为裸机节点基板管理控制器的 URL。

     8

     要跳过证书验证，将 disableCertificateVerification 设为 true。

     9 10

     将 <bmc_username> 和 <bmc_password> 替换为 BMC 用户名和密码的字符串。

     11

     可选：如果您指定了 root 设备提示，将 <root_device_hint> 替换为设备路径。

     12

     可选： 如果您为新创建的节点配置了网络接口，请在 BareMetalHost CR 的 preprovisioningNetworkDataName 中提供网络配置 secret 名称。

   注意

   如果现有裸机节点的 MAC 地址与您试图置备的裸机主机的 MAC 地址匹配，则 Ironic 安装将失败。如果主机注册、检查、清理或其他 Ironic 步骤失败，Bare Metal Operator 会持续重试安装。如需更多信息，请参阅"诊断主机重复的 MAC 地址"。

5. 创建裸机节点：

   $ oc -n openshift-machine-api create -f bmh.yaml

   输出示例

   secret/openshift-worker-<num>-network-config-secret created
   secret/openshift-worker-<num>-bmc-secret created
   baremetalhost.metal3.io/openshift-worker-<num> created

   其中 <num> 是 worker 号。

6. 启动并检查裸机节点：

   $ oc -n openshift-machine-api get bmh openshift-worker-<num>

   其中 <num> 是 worker 节点号。

   输出示例

   NAME                    STATE       CONSUMER   ONLINE   ERROR
   openshift-worker-<num>  available              true

   注意

   要允许 worker 节点加入集群，请将 machineset 对象扩展到 BareMetalHost 对象的数量。您可以手动或自动缩放节点。要自动扩展节点，请为 machineset 使用 metal3.io/autoscale-to-hosts 注解。

流程

1. 确保 Bare Metal Operator 可用：

   $ oc get clusteroperator baremetal

   输出示例

   NAME        VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
   baremetal   4.12.0   True        False         False      3d15h

2. 删除旧的 BareMetalHost 和 Machine 对象：

   $ oc delete bmh -n openshift-machine-api <host_name>
   $ oc delete machine -n openshift-machine-api <machine_name>

   将 <host_name> 替换为主机名，<machine_name> 替换为机器的名称。机器名称会出现在 CONSUMER 字段下。

   删除 BareMetalHost 和 Machine 对象后，机器控制器会自动删除 Node 对象。

3. 创建新的 BareMetalHost 对象和 secret，以存储 BMC 凭证：

   $ cat <<EOF | oc apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: control-plane-<num>-bmc-secret 1
     namespace: openshift-machine-api
   data:
     username: <base64_of_uid> 2
     password: <base64_of_pwd> 3
   type: Opaque
   ---
   apiVersion: metal3.io/v1alpha1
   kind: BareMetalHost
   metadata:
     name: control-plane-<num> 4
     namespace: openshift-machine-api
   spec:
     automatedCleaningMode: disabled
     bmc:
       address: <protocol>://<bmc_ip> 5
       credentialsName: control-plane-<num>-bmc-secret 6
     bootMACAddress: <NIC1_mac_address> 7
     bootMode: UEFI
     externallyProvisioned: false
     online: true
   EOF

   1 4 6

   在 name 字段和 credentialsName 字段中，使用裸机节点的 control plane 数量替换 <num>。

   2

   将 <base64_of_uid> 替换为用户名的 base64 格式的字符串。

   3

   将 <base64_of_pwd> 替换为密码的 base64 格式的字符串。

   5

   将 <protocol> 替换为 BMC 协议，如 redfish、redfish-virtualmedia、idrac-virtualmedia 或其他。将 <bmc_ip> 替换为裸机节点基板管理控制器的 IP 地址。如需了解更多 BMC 配置选项，请参阅附加资源部分中的 "BMC 寻址"。

   7

   将 <NIC1_mac_address> 替换为裸机节点第一个 NIC 的 MAC 地址。

   检查完成后，BareMetalHost 对象会被创建并可用置备。

4. 查看可用的 BareMetalHost 对象：

   $ oc get bmh -n openshift-machine-api

   输出示例

   NAME                          STATE                    CONSUMER                   ONLINE   ERROR   AGE
   control-plane-1.example.com   available                control-plane-1            true             1h10m
   control-plane-2.example.com   externally provisioned   control-plane-2            true             4h53m
   control-plane-3.example.com   externally provisioned   control-plane-3            true             4h53m
   compute-1.example.com         provisioned              compute-1-ktmmx            true             4h53m
   compute-1.example.com         provisioned              compute-2-l2zmb            true             4h53m

   control plane 节点没有 MachineSet 对象，因此您必须创建 Machine 对象。您可以从另一个 control plane Machine 对象复制 providerSpec。

5. 创建 Machine 对象：

   $ cat <<EOF | oc apply -f -
   apiVersion: machine.openshift.io/v1beta1
   kind: Machine
   metadata:
     annotations:
       metal3.io/BareMetalHost: openshift-machine-api/control-plane-<num> 1
     labels:
       machine.openshift.io/cluster-api-cluster: control-plane-<num> 2
       machine.openshift.io/cluster-api-machine-role: master
       machine.openshift.io/cluster-api-machine-type: master
     name: control-plane-<num> 3
     namespace: openshift-machine-api
   spec:
     metadata: {}
     providerSpec:
       value:
         apiVersion: baremetal.cluster.k8s.io/v1alpha1
         customDeploy:
           method: install_coreos
         hostSelector: {}
         image:
           checksum: ""
           url: ""
         kind: BareMetalMachineProviderSpec
         metadata:
           creationTimestamp: null
         userData:
           name: master-user-data-managed
   EOF

   1 2 3

   在 name, labels 和 annotations 字段中，使用裸机节点的 control plane 数量替换 <num>。

6. 要查看 BareMetalHost 对象，请运行以下命令：

   $ oc get bmh -A

   输出示例

   NAME                          STATE                    CONSUMER                   ONLINE   ERROR   AGE
   control-plane-1.example.com   provisioned              control-plane-1            true             2h53m
   control-plane-2.example.com   externally provisioned   control-plane-2            true             5h53m
   control-plane-3.example.com   externally provisioned   control-plane-3            true             5h53m
   compute-1.example.com         provisioned              compute-1-ktmmx            true             5h53m
   compute-2.example.com         provisioned              compute-2-l2zmb            true             5h53m

7. 在 RHCOS 安装后，验证 BareMetalHost 是否已添加到集群中：

   $ oc get nodes

   输出示例

   NAME                           STATUS      ROLES     AGE   VERSION
   control-plane-1.example.com    available   master    4m2s  v1.18.2
   control-plane-2.example.com    available   master    141m  v1.18.2
   control-plane-3.example.com    available   master    141m  v1.18.2
   compute-1.example.com          available   worker    87m   v1.18.2
   compute-2.example.com          available   worker    87m   v1.18.2

   注意

   替换新的 control plane 节点后，在新节点上运行的 etcd pod 处于 crashloopback 状态。如需更多信息，请参阅附加资源部分中的 "替换不健康的 etcd 成员"。

流程

1. 编辑 置备 自定义资源(CR)，以在 baremetal 网络中使用 Virtual Media 启用部署：

   oc edit provisioning

     apiVersion: metal3.io/v1alpha1
     kind: Provisioning
     metadata:
       creationTimestamp: "2021-08-05T18:51:50Z"
       finalizers:
       - provisioning.metal3.io
       generation: 8
       name: provisioning-configuration
       resourceVersion: "551591"
       uid: f76e956f-24c6-4361-aa5b-feaf72c5b526
     spec:
       provisioningDHCPRange: 172.22.0.10,172.22.0.254
       provisioningIP: 172.22.0.3
       provisioningInterface: enp1s0
       provisioningNetwork: Managed
       provisioningNetworkCIDR: 172.22.0.0/24
       virtualMediaViaExternalNetwork: true 1
     status:
       generations:
       - group: apps
         hash: ""
         lastGeneration: 7
         name: metal3
         namespace: openshift-machine-api
         resource: deployments
       - group: apps
         hash: ""
         lastGeneration: 1
         name: metal3-image-cache
         namespace: openshift-machine-api
         resource: daemonsets
       observedGeneration: 8
       readyReplicas: 0

   1

   将 virtualMediaViaExternalNetwork: true 添加到 provisioning CR。

2. 如果镜像 URL 存在，请编辑 machineset 以使用 API VIP 地址。此步骤只适用于在 4.9 或更早版本安装的集群。

   oc edit machineset

     apiVersion: machine.openshift.io/v1beta1
     kind: MachineSet
     metadata:
       creationTimestamp: "2021-08-05T18:51:52Z"
       generation: 11
       labels:
         machine.openshift.io/cluster-api-cluster: ostest-hwmdt
         machine.openshift.io/cluster-api-machine-role: worker
         machine.openshift.io/cluster-api-machine-type: worker
       name: ostest-hwmdt-worker-0
       namespace: openshift-machine-api
       resourceVersion: "551513"
       uid: fad1c6e0-b9da-4d4a-8d73-286f78788931
     spec:
       replicas: 2
       selector:
         matchLabels:
           machine.openshift.io/cluster-api-cluster: ostest-hwmdt
           machine.openshift.io/cluster-api-machineset: ostest-hwmdt-worker-0
       template:
         metadata:
           labels:
             machine.openshift.io/cluster-api-cluster: ostest-hwmdt
             machine.openshift.io/cluster-api-machine-role: worker
             machine.openshift.io/cluster-api-machine-type: worker
             machine.openshift.io/cluster-api-machineset: ostest-hwmdt-worker-0
         spec:
           metadata: {}
           providerSpec:
             value:
               apiVersion: baremetal.cluster.k8s.io/v1alpha1
               hostSelector: {}
               image:
                 checksum: http:/172.22.0.3:6181/images/rhcos-<version>.<architecture>.qcow2.<md5sum> 1
                 url: http://172.22.0.3:6181/images/rhcos-<version>.<architecture>.qcow2 2
               kind: BareMetalMachineProviderSpec
               metadata:
                 creationTimestamp: null
               userData:
                 name: worker-user-data
     status:
       availableReplicas: 2
       fullyLabeledReplicas: 2
       observedGeneration: 11
       readyReplicas: 2
       replicas: 2

   1

   编辑 校验和 URL，以使用 API VIP 地址。

   2

   编辑 URL 以使用 API VIP 地址。

1. 获取在 openshift-machine-api 命名空间中运行的裸机主机：

   $ oc get bmh -n openshift-machine-api

   输出示例

   NAME                 STATUS   PROVISIONING STATUS      CONSUMER
   openshift-master-0   OK       externally provisioned   openshift-zpwpq-master-0
   openshift-master-1   OK       externally provisioned   openshift-zpwpq-master-1
   openshift-master-2   OK       externally provisioned   openshift-zpwpq-master-2
   openshift-worker-0   OK       provisioned              openshift-zpwpq-worker-0-lv84n
   openshift-worker-1   OK       provisioned              openshift-zpwpq-worker-0-zd8lm
   openshift-worker-2   error    registering

2. 要查看失败主机状态的更多详细信息，请运行以下命令将 <bare_metal_host_name> 替换为主机名称：

   $ oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yaml

   输出示例

   ...
   status:
     errorCount: 12
     errorMessage: MAC address b4:96:91:1d:7c:20 conflicts with existing node openshift-worker-1
     errorType: registration error
   ...

流程

1. 在置备裸机节点前，请确保 STATE 为 available。

   $  oc -n openshift-machine-api get bmh openshift-worker-<num>

   其中 <num> 是 worker 节点号。

   NAME              STATE     ONLINE ERROR  AGE
   openshift-worker  available true          34h

2. 获取 worker 节点数量。

   $ oc get nodes

   NAME                                                STATUS   ROLES           AGE     VERSION
   openshift-master-1.openshift.example.com            Ready    master          30h     v1.25.0
   openshift-master-2.openshift.example.com            Ready    master          30h     v1.25.0
   openshift-master-3.openshift.example.com            Ready    master          30h     v1.25.0
   openshift-worker-0.openshift.example.com            Ready    worker          30h     v1.25.0
   openshift-worker-1.openshift.example.com            Ready    worker          30h     v1.25.0

3. 获取计算机器集。

   $ oc get machinesets -n openshift-machine-api

   NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
   ...
   openshift-worker-0.example.com      1         1         1       1           55m
   openshift-worker-1.example.com      1         1         1       1           55m

4. 将 worker 节点数量增加一个。

   $ oc scale --replicas=<num> machineset <machineset> -n openshift-machine-api

   将 <num> 替换为新的 worker 节点数。将 <machineset> 替换为上一步中计算机器设置的名称。

5. 检查裸机节点的状态。

   $ oc -n openshift-machine-api get bmh openshift-worker-<num>

   其中 <num> 是 worker 节点号。STATE 从 ready 变为 provisioning。

   NAME                    STATE             CONSUMER                          ONLINE   ERROR
   openshift-worker-<num>  provisioning      openshift-worker-<num>-65tjz      true

   provisioning 状态会保持，直到 OpenShift Container Platform 集群置备节点。这可能需要 30 分钟或更长时间。在调配节点后，其状态将更改为 provisioned。

   NAME                    STATE             CONSUMER                          ONLINE   ERROR
   openshift-worker-<num>  provisioned       openshift-worker-<num>-65tjz      true

6. 在置备完成后，确保裸机节点就绪。

   $ oc get nodes

   NAME                                          STATUS   ROLES   AGE     VERSION
   openshift-master-1.openshift.example.com      Ready    master  30h     v1.25.0
   openshift-master-2.openshift.example.com      Ready    master  30h     v1.25.0
   openshift-master-3.openshift.example.com      Ready    master  30h     v1.25.0
   openshift-worker-0.openshift.example.com      Ready    worker  30h     v1.25.0
   openshift-worker-1.openshift.example.com      Ready    worker  30h     v1.25.0
   openshift-worker-<num>.openshift.example.com  Ready    worker  3m27s   v1.25.0

   您还可以检查 kubelet。

   $ ssh openshift-worker-<num>

   [kni@openshift-worker-<num>]$ journalctl -fu kubelet

流程

1. 使用 YAML-tips 中的指南。
2. 使用 syntax-check 验证 YAML 语法是否正确。

3. 验证 Red Hat Enterprise Linux CoreOS(RHCOS)QEMU 镜像是否已正确定义，并可通过 install-config.yaml 提供的 URL 访问。例如：

   $ curl -s -o /dev/null -I -w "%{http_code}\n" http://webserver.example.com:8080/rhcos-44.81.202004250133-0-qemu.<architecture>.qcow2.gz?sha256=7d884b46ee54fe87bbc3893bf2aa99af3b2d31f2e19ab5529c60636fbd0f1ce7

   如果输出为 200，则会从存储 bootstrap 虚拟机镜像的 webserver 获得有效的响应。

流程

1. 触发安装程序后大约 10 到 15 分钟，使用 virsh 命令检查 bootstrap 虚拟机是否正常工作：

   $ sudo virsh list

    Id    Name                           State
    --------------------------------------------
    12    openshift-xf6fq-bootstrap      running

   注意

   bootstrap 虚拟机的名称始终是集群名称，后跟一组随机字符，并以"bootstrap"结尾。

   如果 bootstrap 虚拟机在 10-15 分钟后没有运行，请对它进行故障排除。可能的问题包括：

2. 验证 libvirtd 是否在系统中运行：

   $ systemctl status libvirtd

   ● libvirtd.service - Virtualization daemon
      Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)
      Active: active (running) since Tue 2020-03-03 21:21:07 UTC; 3 weeks 5 days ago
        Docs: man:libvirtd(8)
              https://libvirt.org
    Main PID: 9850 (libvirtd)
       Tasks: 20 (limit: 32768)
      Memory: 74.8M
      CGroup: /system.slice/libvirtd.service
              ├─ 9850 /usr/sbin/libvirtd

   如果 bootstrap 虚拟机可以正常工作，请登录它。

3. 使用 virsh console 命令查找 bootstrap 虚拟机的 IP 地址：

   $ sudo virsh console example.com

   Connected to domain example.com
   Escape character is ^]
   Red Hat Enterprise Linux CoreOS 43.81.202001142154.0 (Ootpa) 4.3
   SSH host key: SHA256:BRWJktXZgQQRY5zjuAV0IKZ4WM7i4TiUyMVanqu9Pqg (ED25519)
   SSH host key: SHA256:7+iKGA7VtG5szmk2jB5gl/5EZ+SNcJ3a2g23o0lnIio (ECDSA)
   SSH host key: SHA256:DH5VWhvhvagOTaLsYiVNse9ca+ZSW/30OOMed8rIGOc (RSA)
   ens3:  fd35:919d:4042:2:c7ed:9a9f:a9ec:7
   ens4: 172.22.0.2 fe80::1d05:e52e:be5d:263f
   localhost login:

   重要

   当在没有 provisioning 网络的情况下部署 OpenShift Container Platform 集群时，您必须使用公共 IP 地址，而不是专用 IP 地址，如 172.22.0.2。

4. 获取 IP 地址后，使用 ssh 命令登录到 bootstrap 虚拟机：

   注意

   在上一步的控制台输出中，您可以使用 ens3 提供的 IPv6 IP 地址或 ens 4 提供的 IPv4 IP 地址 。

   $ ssh core@172.22.0.2

流程

1. 检查与 provisioning 网络的网络连接。
2. 确保 provisioning 网络的 NIC 上启用了 PXE，并为所有其他 NIC 禁用 PXE。

3. 验证 install-config.yaml 配置文件是否包含 rootDeviceHints 参数，以及连接到 provisioning 网络的 NIC 的引导 MAC 地址。例如：

   control plane 节点设置

   bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC

   Worker 节点设置

   bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC

流程

1. 主机名解析： 检查集群节点，确保它们具有完全限定域名，而不只是 localhost.localdomain。例如：

   $ hostname

   如果没有设置主机名，请设置正确的主机名。例如：

   $ hostnamectl set-hostname <hostname>

2. 错误的名称解析： 使用 dig 和 nslookup，确保每个节点在 DNS 服务器中具有正确的名称解析。例如：

   $ dig api.<cluster_name>.example.com

   ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el8 <<>> api.<cluster_name>.example.com
   ;; global options: +cmd
   ;; Got answer:
   ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 37551
   ;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 2
   
   ;; OPT PSEUDOSECTION:
   ; EDNS: version: 0, flags:; udp: 4096
   ; COOKIE: 866929d2f8e8563582af23f05ec44203d313e50948d43f60 (good)
   ;; QUESTION SECTION:
   ;api.<cluster_name>.example.com. IN A
   
   ;; ANSWER SECTION:
   api.<cluster_name>.example.com. 10800 IN	A 10.19.13.86
   
   ;; AUTHORITY SECTION:
   <cluster_name>.example.com. 10800 IN NS	<cluster_name>.example.com.
   
   ;; ADDITIONAL SECTION:
   <cluster_name>.example.com. 10800 IN A	10.19.14.247
   
   ;; Query time: 0 msec
   ;; SERVER: 10.19.14.247#53(10.19.14.247)
   ;; WHEN: Tue May 19 20:30:59 UTC 2020
   ;; MSG SIZE  rcvd: 140

   示例中的输出显示 api.<cluster_name>.example.com VIP 的适当 IP 地址为 10.19.13.86。此 IP 地址应当位于 baremetal 网络中。

流程

1. 添加 DNS A/AAAA 或 CNAME 记录，以内部标识 API 负载均衡器。例如，在使用 dnsmasq 时，修改 dnsmasq.conf 配置文件：

   $ sudo nano /etc/dnsmasq.conf

   address=/api-int.<cluster_name>.<base_domain>/<IP_address>
   address=/api-int.mycluster.example.com/192.168.1.10
   address=/api-int.mycluster.example.com/2001:0db8:85a3:0000:0000:8a2e:0370:7334

2. 添加 DNS PTR 记录以内部标识 API 负载均衡器。例如，在使用 dnsmasq 时，修改 dnsmasq.conf 配置文件：

   $ sudo nano /etc/dnsmasq.conf

   ptr-record=<IP_address>.in-addr.arpa,api-int.<cluster_name>.<base_domain>
   ptr-record=10.1.168.192.in-addr.arpa,api-int.mycluster.example.com

3. 重启 DNS 服务器。例如，在使用 dnsmasq 时执行以下命令：

   $ sudo systemctl restart dnsmasq

流程

1. 在安装 OpenShift Container Platform 集群前关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

2. 删除所有旧的 bootstrap 资源（如果以前的部署尝试中保留）：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

3. 从 clusterconfigs 目录中删除以下内容以防止 Terraform 失败：

   $ rm -rf ~/clusterconfigs/auth ~/clusterconfigs/terraform* ~/clusterconfigs/tls ~/clusterconfigs/metadata.json

流程

1. 检查以确保身份验证成功：

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.json
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

   注意

   用于镜像安装镜像的变量输出示例：

   UPSTREAM_REPO=${RELEASE_IMAGE}
   LOCAL_REG=<registry_FQDN>:<registry_port>
   LOCAL_REPO='ocp4/openshift4'

   在为 OpenShift 安装设置环境 部分的 获取 OpenShift 安装程序 步骤中，设置了 RELEASE_IMAGE 和 VERSION 的值。

2. 镜像 registry 后，确认您可以在断开连接的环境中访问它：

   $ curl -k -u <user>:<password> https://registry.example.com:<registry_port>/v2/_catalog
   {"repositories":["<Repo_Name>"]}

流程

1. 当正确安装 OpenShift Container Platform 集群节点时，在 STATUS 列中会显示以下 Ready 状态 ：

   $ oc get nodes

   NAME                   STATUS   ROLES           AGE  VERSION
   master-0.example.com   Ready    master,worker   4h   v1.25.0
   master-1.example.com   Ready    master,worker   4h   v1.25.0
   master-2.example.com   Ready    master,worker   4h   v1.25.0

2. 确认安装程序成功部署了所有容器集。以下命令将移除仍在运行或已完成的 pod 作为输出的一部分。

   $ oc get pods --all-namespaces | grep -iv running | grep -iv complete