2.11. 安装 RHCOS 并启动 OpenShift Container Platform bootstrap 过程

流程

1. 获取每个 Ignition 配置文件的 SHA512 摘要。例如，您可以在运行 Linux 的系统上使用以下内容来获取 bootstrap.ign Ignition 配置文件的 SHA512 摘要：

   $ sha512sum <installation_directory>/bootstrap.ign

   后续步骤中会向 coreos-installer 提供摘要，以验证集群节点上 Ignition 配置文件的真实性。

2. 将安装程序创建的 bootstrap、control plane 和计算节点 Ignition 配置文件上传到 HTTP 服务器。注意这些文件的 URL。

   重要

   您可以在 Ignition 配置中添加或更改配置设置，然后将其保存到 HTTP 服务器。如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

3. 从安装主机上，验证 Ignition 配置文件是否在 URL 上可用。以下示例获取 bootstrap 节点的 Ignition 配置文件：

   $ curl -k http://<HTTP_server>/bootstrap.ign 1

   输出示例

     % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                    Dload  Upload   Total   Spent    Left  Speed
     0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0{"ignition":{"version":"3.2.0"},"passwd":{"users":[{"name":"core","sshAuthorizedKeys":["ssh-rsa...

   在命令中将 bootstrap.ign 替换为 master.ign 或 worker.ign，以验证 control plane 和计算节点的 Ignition 配置文件是否可用。

4. 虽然可以从 RHCOS 镜像镜像页面获取您选择的操作系统实例安装方法所需的 RHCOS 镜像，但推荐的方法是从 openshift-install 命令的输出获取 RHCOS 镜像的正确版本：

   $ openshift-install coreos print-stream-json | grep '\.iso[^.]'

   输出示例

   "location": "<url>/art/storage/releases/rhcos-4.13-aarch64/<release>/aarch64/rhcos-<release>-live.aarch64.iso",
   "location": "<url>/art/storage/releases/rhcos-4.13-ppc64le/<release>/ppc64le/rhcos-<release>-live.ppc64le.iso",
   "location": "<url>/art/storage/releases/rhcos-4.13-s390x/<release>/s390x/rhcos-<release>-live.s390x.iso",
   "location": "<url>/art/storage/releases/rhcos-4.13/<release>/x86_64/rhcos-<release>-live.x86_64.iso",

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。这个过程只使用 ISO 镜像。此安装类型不支持 RHCOS qcow2 镜像。

   ISO 文件名类似以下示例：

   rhcos-<version>-live.<architecture>.iso

5. 使用 ISO 启动 RHCOS 安装。使用以下安装选项之一：

   • 将 ISO 映像刻录到磁盘并直接启动。
   • 使用 light-out 管理(LOM)接口使用 ISO 重定向。

6. 在不指定任何选项或中断实时引导序列的情况下引导 RHCOS ISO 镜像。等待安装程序在 RHCOS live 环境中引导进入 shell 提示符。

   注意

   可以中断 RHCOS 安装引导过程来添加内核参数。但是，在这个 ISO 过程中，您应该使用以下步骤中所述的 coreos-installer 命令，而不是添加内核参数。

7. 运行 coreos-installer 命令并指定满足您的安装要求的选项。您至少必须指定指向节点类型的 Ignition 配置文件的 URL，以及您要安装到的设备：

   $ sudo coreos-installer install --ignition-url=http://<HTTP_server>/<node_type>.ign <device> --ignition-hash=sha512-<digest> 12

   1 1

   您必须使用 sudo 运行 coreos-installer 命令，因为 core 用户没有执行安装所需的 root 权限。

   2

   当 Ignition 配置文件通过 HTTP URL 获取时，需要 --ignition-hash 选项来验证集群节点上 Ignition 配置文件的真实性。<digest> 是上一步中获取的 Ignition 配置文件 SHA512 摘要。

   注意

   如果要通过使用 TLS 的 HTTPS 服务器提供 Ignition 配置文件，您可以在运行 coreos-installer 前将内部证书颁发机构(CA)添加到系统信任存储中。

   以下示例将引导节点安装初始化到 /dev/sda 设备。bootstrap 节点的 Ignition 配置文件从 IP 地址 192.168.1.2 的 HTTP Web 服务器获取：

   $ sudo coreos-installer install --ignition-url=http://192.168.1.2:80/installation_directory/bootstrap.ign /dev/sda --ignition-hash=sha512-a5a2d43879223273c9b60af66b44202a1d1248fc01cf156c46d4a79f552b6bad47bc8cc78ddf0116e80c59d2ea9e32ba53bc807afbca581aa059311def2c3e3b

8. 在机器的控制台上监控 RHCOS 安装的进度。

   重要

   在开始安装 OpenShift Container Platform 之前，确保每个节点中安装成功。观察安装过程可以帮助确定可能会出现 RHCOS 安装问题的原因。

9. 安装 RHCOS 后，您必须重启系统。系统重启过程中，它会应用您指定的 Ignition 配置文件。

10. 检查控制台输出，以验证 Ignition 是否运行。

    示例命令

    Ignition: ran on 2022/03/14 14:48:33 UTC (this boot)
    Ignition: user-provided config was applied

11. 继续为集群创建其他机器。

    重要

    此时您必须创建 bootstrap 和 control plane 机器。如果 control plane 机器不可调度，请在安装 OpenShift Container Platform 前至少创建两台计算机器。

    如果存在所需的网络、DNS 和负载均衡器基础架构，OpenShift Container Platform bootstrap 过程会在 RHCOS 节点重启后自动启动。

    注意

    RHCOS 节点不包含 core 用户的默认密码。您可以使用可访问 SSH 私钥的用户的身份运行 ssh core@<node>.<cluster_name>.<base_domain > 来访问节点，该私钥与您在 install_config.yaml 文件中指定的公钥配对。运行 RHCOS 的 OpenShift Container Platform 4 集群节点不可变，它依赖于 Operator 来应用集群更改。不建议使用 SSH 访问集群节点。但是，当调查安装问题时，如果 OpenShift Container Platform API 不可用，或者 kubelet 在目标节点上无法正常工作，则调试或灾难恢复可能需要 SSH 访问。

流程

1. 将安装程序创建的 bootstrap、control plane 和计算节点 Ignition 配置文件上传到 HTTP 服务器。注意这些文件的 URL。

   重要

   您可以在 Ignition 配置中添加或更改配置设置，然后将其保存到 HTTP 服务器。如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

2. 从安装主机上，验证 Ignition 配置文件是否在 URL 上可用。以下示例获取 bootstrap 节点的 Ignition 配置文件：

   $ curl -k http://<HTTP_server>/bootstrap.ign 1

   输出示例

     % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                    Dload  Upload   Total   Spent    Left  Speed
     0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0{"ignition":{"version":"3.2.0"},"passwd":{"users":[{"name":"core","sshAuthorizedKeys":["ssh-rsa...

   在命令中将 bootstrap.ign 替换为 master.ign 或 worker.ign，以验证 control plane 和计算节点的 Ignition 配置文件是否可用。

3. 虽然可以从 RHCOS image mirror 页面获取您选择的操作系统实例所需的 RHCOS kernel、initramfs 和 rootfs 文件，但推荐的方法是从 openshift-install 命令的输出中获取 RHCOS 文件的正确版本：

   $ openshift-install coreos print-stream-json | grep -Eo '"https.*(kernel-|initramfs.|rootfs.)\w+(\.img)?"'

   输出示例

   "<url>/art/storage/releases/rhcos-4.13-aarch64/<release>/aarch64/rhcos-<release>-live-kernel-aarch64"
   "<url>/art/storage/releases/rhcos-4.13-aarch64/<release>/aarch64/rhcos-<release>-live-initramfs.aarch64.img"
   "<url>/art/storage/releases/rhcos-4.13-aarch64/<release>/aarch64/rhcos-<release>-live-rootfs.aarch64.img"
   "<url>/art/storage/releases/rhcos-4.13-ppc64le/49.84.202110081256-0/ppc64le/rhcos-<release>-live-kernel-ppc64le"
   "<url>/art/storage/releases/rhcos-4.13-ppc64le/<release>/ppc64le/rhcos-<release>-live-initramfs.ppc64le.img"
   "<url>/art/storage/releases/rhcos-4.13-ppc64le/<release>/ppc64le/rhcos-<release>-live-rootfs.ppc64le.img"
   "<url>/art/storage/releases/rhcos-4.13-s390x/<release>/s390x/rhcos-<release>-live-kernel-s390x"
   "<url>/art/storage/releases/rhcos-4.13-s390x/<release>/s390x/rhcos-<release>-live-initramfs.s390x.img"
   "<url>/art/storage/releases/rhcos-4.13-s390x/<release>/s390x/rhcos-<release>-live-rootfs.s390x.img"
   "<url>/art/storage/releases/rhcos-4.13/<release>/x86_64/rhcos-<release>-live-kernel-x86_64"
   "<url>/art/storage/releases/rhcos-4.13/<release>/x86_64/rhcos-<release>-live-initramfs.x86_64.img"
   "<url>/art/storage/releases/rhcos-4.13/<release>/x86_64/rhcos-<release>-live-rootfs.x86_64.img"

   重要

   RHCOS 工件可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。这个过程只使用下面描述的适当 kernel、initram fs 和 rootfs 工件。此安装类型不支持 RHCOS QCOW2 镜像。

   文件名包含 OpenShift Container Platform 版本号。它们类似以下示例：

   • kernel:rhcos-<version>-live-kernel-<architecture>
   • initramfs: rhcos-<version>-live-initramfs.<architecture>.img
   • rootfs: rhcos-<version>-live-rootfs.<architecture>.img

4. 将 rootfs、kernel 和 initramfs 文件上传到 HTTP 服务器。

   重要

   如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

5. 配置网络引导基础架构，以便在安装 RHCOS 后机器从本地磁盘启动。

6. 为 RHCOS 镜像配置 PXE 或 iPXE 安装并开始安装。

   为环境修改以下示例菜单条目之一，并验证能否正确访问镜像和 Ignition 文件：

   • 对于 PXE(x86_64)：

     DEFAULT pxeboot
     TIMEOUT 20
     PROMPT 0
     LABEL pxeboot
         KERNEL http://<HTTP_server>/rhcos-<version>-live-kernel-<architecture> 1
         APPEND initrd=http://<HTTP_server>/rhcos-<version>-live-initramfs.<architecture>.img coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/bootstrap.ign 2 3

     1 1

     指定上传到 HTTP 服务器的 live kernel 文件位置。URL 必须是 HTTP、TFTP 或 FTP；不支持 HTTPS 和 NFS。

     2

     如果您使用多个 NIC，请在 ip 选项中指定一个接口。例如，要在名为 eno1 的 NIC 上使用 DHCP，请设置 ip=eno1:dhcp。

     3

     指定上传到 HTTP 服务器的 RHCOS 文件的位置。initrd 参数值是 initramfs 文件的位置，coreos.live.rootfs_url 参数值是 rootfs 文件的位置，coreos.inst.ignition_url 参数值则是 bootstrap Ignition 配置文件的位置。您还可以在 APPEND 行中添加更多内核参数来配置联网或其他引导选项。

     注意

     此配置不会在图形控制台的机器上启用串行控制台访问。要配置不同的控制台，请在 APPEND 行中添加一个或多个 console= 参数。例如，添加 console=tty0 console=ttyS0 以将第一个 PC 串口设置为主控制台，并将图形控制台设置为二级控制台。如需更多信息，请参阅如何在 Red Hat Enterprise Linux 中设置串行终端和/或控制台？ 和"启用 PXE 和 ISO 安装的串行控制台"部分。

   • 对于 iPXE (x86_64 + aarch64 )：

     kernel http://<HTTP_server>/rhcos-<version>-live-kernel-<architecture> initrd=main coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/bootstrap.ign 1 2
     initrd --name main http://<HTTP_server>/rhcos-<version>-live-initramfs.<architecture>.img 3
     boot

     1

     指定上传到 HTTP 服务器的 RHCOS 文件的位置。kernel 参数值是 kernel 文件的位置，init rd=main 参数用于在 UEFI 系统中引导，coreos.live.rootfs_url 参数值是 rootfs 文件的位置，coreos.inst.ignition_url 参数值则是 bootstrap Ignition 配置文件的位置。

     2

     如果您使用多个 NIC，请在 ip 选项中指定一个接口。例如，要在名为 eno1 的 NIC 上使用 DHCP，请设置 ip=eno1:dhcp。

     3

     指定上传到 HTTP 服务器的 initramfs 文件的位置。

     注意

     此配置不会在图形控制台的机器上启用串行控制台访问。要配置不同的控制台，请在 内核参数 中添加一个或多个 console= 参数。例如，添加 console=tty0 console=ttyS0 以将第一个 PC 串口设置为主控制台，并将图形控制台设置为二级控制台。如需更多信息，请参阅如何在 Red Hat Enterprise Linux 中设置串行终端和/或控制台？ 和"启用 PXE 和 ISO 安装的串行控制台"部分。

     注意

     要在 aarch64 架构中网络引导 CoreOS 内核，您需要使用启用了 IMAGE_GZIP 选项的 iPXE 构建版本。请参阅 iPXE 中的IMAGE_GZIP 选项。

   • 对于 aarch64 中的 PXE（使用 UEFI 和 Grub 作为第二阶段）：

     menuentry 'Install CoreOS' {
         linux rhcos-<version>-live-kernel-<architecture>  coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/bootstrap.ign 1 2
         initrd rhcos-<version>-live-initramfs.<architecture>.img 3
     }

     1

     指定上传到 HTTP/TFTP 服务器的 RHCOS 文件的位置。kernel 参数值是 TFTP 服务器中的 kernel 文件的位置。coreos.live.rootfs_url 参数值是 rootfs 文件的位置，coreos.inst.ignition_url 参数值是 HTTP 服务器上的 bootstrap Ignition 配置文件的位置。

     2

     如果您使用多个 NIC，请在 ip 选项中指定一个接口。例如，要在名为 eno1 的 NIC 上使用 DHCP，请设置 ip=eno1:dhcp。

     3

     指定上传到 TFTP 服务器的 initramfs 文件的位置。

7. 在机器的控制台上监控 RHCOS 安装的进度。

   重要

   在开始安装 OpenShift Container Platform 之前，确保每个节点中安装成功。观察安装过程可以帮助确定可能会出现 RHCOS 安装问题的原因。

8. 安装 RHCOS 后，系统会重启。在重启过程中，系统会应用您指定的 Ignition 配置文件。

9. 检查控制台输出，以验证 Ignition 是否运行。

   示例命令

   Ignition: ran on 2022/03/14 14:48:33 UTC (this boot)
   Ignition: user-provided config was applied

10. 继续为集群创建机器。

    重要

    此时您必须创建 bootstrap 和 control plane 机器。如果 control plane 机器不可调度，请在安装集群前至少创建两台计算机器。

    如果存在所需的网络、DNS 和负载均衡器基础架构，OpenShift Container Platform bootstrap 过程会在 RHCOS 节点重启后自动启动。

    注意

    RHCOS 节点不包含 core 用户的默认密码。您可以使用可访问 SSH 私钥的用户的身份运行 ssh core@<node>.<cluster_name>.<base_domain > 来访问节点，该私钥与您在 install_config.yaml 文件中指定的公钥配对。运行 RHCOS 的 OpenShift Container Platform 4 集群节点不可变，它依赖于 Operator 来应用集群更改。不建议使用 SSH 访问集群节点。但是，当调查安装问题时，如果 OpenShift Container Platform API 不可用，或者 kubelet 在目标节点上无法正常工作，则调试或灾难恢复可能需要 SSH 访问。

流程

1. 要启用多路径并启动 multipathd 守护进程，请在安装主机上运行以下命令：

   $ mpathconf --enable && systemctl start multipathd.service

   • 可选：如果引导 PXE 或 ISO，则可以通过从内核命令行添加 rd.multipath=default 来启用多路径。

2. 通过调用 coreos-installer 程序附加内核参数：

   • 如果只有一个多路径设备连接到计算机，则应在路径 /dev/mapper/mpatha 上可用。例如：

     $ coreos-installer install /dev/mapper/mpatha \1
     --ignition-url=http://host/worker.ign \
     --append-karg rd.multipath=default \
     --append-karg root=/dev/disk/by-label/dm-mpath-root \
     --append-karg rw

     1

     表示单一多路径设备的路径。

   • 如果有多个多路径设备连接到计算机，或者更为明确，而不是使用 /dev/mapper/mpatha，则建议使用 /dev/disk/by-id 中可用的 World Wide Name(WWN)符号链接。例如：

     $ coreos-installer install /dev/disk/by-id/wwn-<wwn_ID> \1
     --ignition-url=http://host/worker.ign \
     --append-karg rd.multipath=default \
     --append-karg root=/dev/disk/by-label/dm-mpath-root \
     --append-karg rw

     1

     表示目标多路径设备的 WWN ID。例如： 0xx194e957fcedb4841。

     当使用特殊 coreos.inst.* 参数指示 live 安装程序时，这个符号链接也可以用作 coreos.inst.install_dev 内核参数。如需更多信息，请参阅"安装 RHCOS 和启动 OpenShift Container Platform bootstrap 过程"。

3. 重启安装的系统。

4. 前往其中一个 worker 节点并列出内核命令行参数（主机上的 /proc/cmdline 中），以检查内核参数是否正常工作：

   $ oc debug node/ip-10-0-141-105.ec2.internal

   输出示例

   Starting pod/ip-10-0-141-105ec2internal-debug ...
   To use host binaries, run `chroot /host`
   
   sh-4.2# cat /host/proc/cmdline
   ...
   rd.multipath=default root=/dev/disk/by-label/dm-mpath-root
   ...
   
   sh-4.2# exit

   您应看到添加的内核参数。