5.11. 安装 RHCOS 并启动 OpenShift Container Platform bootstrap 过程

流程

1. 准备 RHEL KVM 主机以支持 IBM® 安全执行。

   • 默认情况下，KVM 主机不支持 IBM® 安全执行模式中的客户机。要在 IBM® Secure Execution 模式中支持客户机，KVM 主机必须使用内核参数规格 prot_virt=1 在 LPAR 模式中引导。要在 RHEL 8 上启用 prot_virt=1，请按照以下步骤执行：

     1. 进入到 /boot/loader/entries/，以修改您的引导装载程序配置文件 slirpconf。
     2. 添加内核命令行参数 prot_virt=1。

     3. 运行 zipl 命令并重启系统。

        从支持 IBM® Secure Execution 开始的 KVM 主机发出以下内核信息：

        prot_virt: Reserving <amount>MB as ultravisor base storage.

     4. 要验证 KVM 主机现在支持 IBM® Secure Execution，请运行以下命令：

        # cat /sys/firmware/uv/prot_virt_host

        输出示例

        1

        对于 Linux 实例，此属性的值是 1，它检测其环境与安全主机的一致性。对于其他实例，值为 0。

2. 通过 Ignition 将您的主机密钥添加到 KVM 客户机。

   第一次引导过程中，RHCOS 会查找主机密钥以使用它们重新加密自身。RHCOS 在 /etc/se-hostkeys 目录中搜索以 ibm-z-hostkey- 开头的文件。集群运行的每台机器的所有主机密钥都必须由管理员加载到目录中。首次启动后，您无法在任何其他机器上运行虚拟机。

   注意

   您需要在安全系统上准备 Ignition 文件。例如，另一个 IBM® Secure Execution 客户机。

   例如：

   {
     "ignition": { "version": "3.0.0" },
     "storage": {
       "files": [
         {
           "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
           "contents": {
             "source": "data:;base64,<base64 encoded hostkey document>"
           },
           "mode": 420
         },
         {
           "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
           "contents": {
             "source": "data:;base64,<base64 encoded hostkey document>"
           },
           "mode": 420
         }
       ]
     }
   }
   ```

   注意

   如果您希望节点能够在多个 IBM Z® 机器上运行，您可以根据需要添加任意数量的主机密钥。

3. 要生成 Base64 编码字符串，请运行以下命令：

   base64 <your-hostkey>.crt

   与不运行 IBM® Secure Execution 的客户机相比，机器的第一次引导将较长，因为整个镜像在 Ignition 阶段之前使用随机生成的 LUKS 密码短语进行加密。

4. 添加 Ignition 保护

   为了保护存储在 Ignition 配置文件中的 secret 被读取或修改，您必须加密 Ignition 配置文件。

   注意

   为了实现所需的安全性，在运行 IBM® Secure Execution 时默认禁用 Ignition 日志记录和本地登录。

   1. 运行以下命令，获取 secex-qemu.qcow2 镜像的公共 GPG 密钥，并使用密钥加密 Ignition 配置：

      gpg --recipient-file /path/to/ignition.gpg.pub --yes --output /path/to/config.ign.gpg --verbose --armor --encrypt /path/to/config.ign

5. 按照 RHCOS 的 fast-track 安装步骤，使用 IBM® Secure Execution QCOW 镜像安装节点。

   注意

   在启动虚拟机前，请将 serial=ignition 替换为 serial=ignition_crypted，并添加 launchSecurity 参数。

流程

1. 为 control plane 和计算节点创建 Butane 配置文件。

   以下 control plane 节点的 Butane 配置示例为磁盘加密创建一个名为 master-storage.bu 的文件：

   variant: openshift
   version: 4.15.0
   metadata:
     name: master-storage
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     luks:
       - clevis:
           tang:
             - thumbprint: QcPr_NHFJammnRCA3fFMVdNBwjs
               url: http://clevis.example.com:7500
           options: 1
              - --cipher
              - aes-cbc-essiv:sha256
         device: /dev/disk/by-partlabel/root
         label: luks-root
         name: root
         wipe_volume: true
     filesystems:
       - device: /dev/mapper/root
         format: xfs
         label: root
         wipe_filesystem: true
   openshift:
     fips: true 2

   1

   只有在启用了 FIPS 模式时才需要 cipher 选项。如果禁用了 FIPS，则省略该条目。

   2

   是否启用或禁用 FIPS 模式。默认情况下不启用 FIPS 模式。如果启用了 FIPS 模式，运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS(RHCOS)机器会绕过默认的 Kubernetes 加密套件，并使用由 RHCOS 提供的加密模块。

2. 运行以下命令，创建自定义 initramfs 文件来引导机器：

   $ coreos-installer pxe customize \
       /root/rhcos-bootfiles/rhcos-<release>-live-initramfs.s390x.img \
       --dest-device /dev/disk/by-id/scsi-<serial_number> --dest-karg-append \
       ip=<ip_address>::<gateway_ip>:<subnet_mask>::<network_device>:none \
       --dest-karg-append nameserver=<nameserver_ip> \
       --dest-karg-append rd.neednet=1 -o \
       /root/rhcos-bootfiles/<node_name>-initramfs.s390x.img

   注意

   首次引导前，您必须为集群中的每个节点自定义 initramfs，并添加 PXE 内核参数。

3. 创建包含 ignition.platform.id=metal 和 ignition.firstboot 的参数文件。

流程

1. 从红帽客户门户网站的产品下载页或 RHCOS image mirror 页获得 RHEL QEMU copy-on-write (QCOW2) 磁盘镜像。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。仅使用以下流程中描述的适当 RHCOS QCOW2 镜像。

2. 将 QCOW2 磁盘镜像和 Ignition 文件下载到 RHEL KVM 主机上的通用目录中。

   例如： /var/lib/libvirt/images

   注意

   Ignition 文件由 OpenShift Container Platform 安装程序生成。

3. 为每个 KVM 客户机节点使用 QCOW2 磁盘镜像文件创建新磁盘镜像。

   $ qemu-img create -f qcow2 -F qcow2 -b /var/lib/libvirt/images/{source_rhcos_qemu} /var/lib/libvirt/images/{vmname}.qcow2 {size}

4. 使用 Ignition 文件和新磁盘镜像创建新的 KVM 客户机节点。

   $ virt-install --noautoconsole \
      --connect qemu:///system \
      --name {vm_name} \
      --memory {memory} \
      --vcpus {vcpus} \
      --disk {disk} \
      --launchSecurity type="s390-pv" \ 1
      --import \
      --network network={network},mac={mac} \
      --disk path={ign_file},format=raw,readonly=on,serial=ignition,startup_policy=optional 2

   1

   如果启用了 IBM® Secure Execution，请添加 launchSecurity type="s390-pv" 参数。

   2

   如果启用了 IBM® Secure Execution，请将 serial=ignition 替换为 serial=ignition_crypted。

流程

1. 从红帽客户门户网站的产品下载页或 RHCOS image mirror 页获取 RHEL kernel, initramfs, 和 rootfs 文件。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。仅使用以下流程中描述的适当 RHCOS QCOW2 镜像。

   文件名包含 OpenShift Container Platform 版本号。它们类似以下示例：

   • kernel: rhcos-<version>-live-kernel-<architecture>
   • initramfs: rhcos-<version>-live-initramfs.<architecture>.img
   • rootfs: rhcos-<version>-live-rootfs.<architecture>.img

2. 在启动 virt-install 前，将下载的 RHEL live kernel、initramfs 和 rootfs 以及 Ignition 文件移到 HTTP 或 HTTPS 服务器中。

   注意

   Ignition 文件由 OpenShift Container Platform 安装程序生成。

3. 使用 RHEL 内核、initramfs 和 Ignition 文件、新磁盘镜像并调整 parm 行参数，创建新的 KVM 客户机节点。

   • 对于 --location，指定 kernel/initrd 在 HTTP 或 HTTPS 服务器上的位置。
   • 对于 coreos.inst.ignition_url=，请为机器角色指定 Ignition 文件。使用 bootstrap.ign、master.ign 或 worker.ign。仅支持 HTTP 和 HTTPS 协议。

   • 对于 coreos.live.rootfs_url=，请为您引导的内核和 initramfs 指定匹配的 rootfs 构件。仅支持 HTTP 和 HTTPS 协议。

     $ virt-install \
        --connect qemu:///system \
        --name {vm_name} \
        --vcpus {vcpus} \
        --memory {memory_mb} \
        --disk {vm_name}.qcow2,size={image_size| default(10,true)} \
        --network network={virt_network_parm} \
        --boot hd \
        --location {media_location},kernel={rhcos_kernel},initrd={rhcos_initrd} \
        --extra-args "rd.neednet=1 coreos.inst.install_dev=/dev/vda coreos.live.rootfs_url={rhcos_liveos} ip={ip}::{default_gateway}:{subnet_mask_length}:{vm_name}:enc1:none:{MTU} nameserver={dns} coreos.inst.ignition_url={rhcos_ign}" \
        --noautoconsole \
        --wait