14.8. 在带有用户置备的受限网络中的 vSphere 上安装集群

流程

1. 设置静态 IP 地址
2. 设置 HTTP 或 HTTPS 服务器，以便为集群节点提供 Ignition 文件。
3. 确保您的网络基础架构在集群组件之间提供所需的网络连接。有关要求的详情，请参阅用户置备的基础架构的网络要求部分。
4. 将防火墙配置为启用 OpenShift Container Platform 集群组件通信所需的端口。如需了解所需端口的详情，请参阅用户置备的基础架构的网络要求部分。

5. 为集群设置所需的 DNS 基础架构。

   1. 为 Kubernetes API、应用程序通配符、bootstrap 机器、control plane 机器和计算机器配置 DNS 名称解析。

   2. 为 Kubernetes API、bootstrap 机器、control plane 机器和计算机器配置反向 DNS 解析。

      如需有关 OpenShift Container Platform DNS 要求的更多信息，请参阅用户置备的 DNS 要求部分。

6. 验证您的 DNS 配置。

   1. 在安装节点中，根据 Kubernetes API 的记录名称、通配符路由和集群节点运行 DNS 查找。验证响应中的 IP 地址对应于正确的组件。

   2. 从安装节点中，针对负载均衡器和集群节点的 IP 地址运行反向 DNS 查找。验证响应中的记录名称对应于正确的组件。

      如需了解详细的 DNS 验证步骤，请参阅用户置备的基础架构验证 DNS 解析部分。

7. 调配所需的 API 和应用入口负载平衡基础架构。有关要求的更多信息，请参阅用户置备的基础架构的负载平衡要求部分。

流程

1. 在安装节点中，根据 Kubernetes API 的记录名称、通配符路由和集群节点运行 DNS 查找。验证响应中包含的 IP 地址对应于正确的组件。

   1. 对 Kubernetes API 记录名称执行查找。检查结果是否指向 API 负载均衡器的 IP 地址：

      $ dig +noall +answer @<nameserver_ip> api.<cluster_name>.<base_domain> 1

      1

      将 <nameserver_ip> 替换为名称服务器的 IP 地址，<cluster_name> 替换为集群名称，<base_domain> 替换为您的基域名。

      输出示例

      api.ocp4.example.com.		0	IN	A	192.168.1.5

   2. 对 Kubernetes 内部 API 记录名称执行查找。检查结果是否指向 API 负载均衡器的 IP 地址：

      $ dig +noall +answer @<nameserver_ip> api-int.<cluster_name>.<base_domain>

      输出示例

      api-int.ocp4.example.com.		0	IN	A	192.168.1.5

   3. 测试示例 *.apps.<cluster_name>.<base_domain> DNS 通配符查找。所有应用程序通配符查找都必须解析为应用程序入口负载均衡器的 IP 地址：

      $ dig +noall +answer @<nameserver_ip> random.apps.<cluster_name>.<base_domain>

      输出示例

      random.apps.ocp4.example.com.		0	IN	A	192.168.1.5

      注意

      在示例输出中，相同的负载均衡器用于 Kubernetes API 和应用入口流量。在生产环境中，您可以单独部署 API 和应用入口负载均衡器，以便您可以隔离扩展负载均衡器基础架构。

      您可以将 random 替换为另一个通配符值。例如，您可以查询到 OpenShift Container Platform 控制台的路由：

      $ dig +noall +answer @<nameserver_ip> console-openshift-console.apps.<cluster_name>.<base_domain>

      输出示例

      console-openshift-console.apps.ocp4.example.com. 0 IN	A 192.168.1.5

   4. 针对 bootstrap DNS 记录名称运行查找。检查结果是否指向 bootstrap 节点的 IP 地址：

      $ dig +noall +answer @<nameserver_ip> bootstrap.<cluster_name>.<base_domain>

      输出示例

      bootstrap.ocp4.example.com.		0	IN	A	192.168.1.96

   5. 使用此方法对 control plane 和计算节点的 DNS 记录名称执行查找。检查结果是否对应于每个节点的 IP 地址。

2. 从安装节点中，针对负载均衡器和集群节点的 IP 地址运行反向 DNS 查找。验证响应中包含的记录名称对应于正确的组件。

   1. 对 API 负载平衡器的 IP 地址执行反向查找。检查响应是否包含 Kubernetes API 和 Kubernetes 内部 API 的记录名称：

      $ dig +noall +answer @<nameserver_ip> -x 192.168.1.5

      输出示例

      5.1.168.192.in-addr.arpa. 0	IN	PTR	api-int.ocp4.example.com. 1
      5.1.168.192.in-addr.arpa. 0	IN	PTR	api.ocp4.example.com. 2

      1

      为 Kubernetes 内部 API 提供记录名称。

      2

      为 Kubernetes API 提供记录名称。

      注意

      OpenShift Container Platform 应用程序通配符不需要 PTR 记录。针对应用程序入口负载均衡器的 IP 地址反向 DNS 解析不需要验证步骤。

   2. 对 bootstrap 节点的 IP 地址执行反向查找。检查结果是否指向 bootstrap 节点的 DNS 记录名称：

      $ dig +noall +answer @<nameserver_ip> -x 192.168.1.96

      输出示例

      96.1.168.192.in-addr.arpa. 0	IN	PTR	bootstrap.ocp4.example.com.

   3. 使用此方法对 control plane 和计算节点的 IP 地址执行反向查找。检查结果是否与每个节点的 DNS 记录名称对应。

流程

1. 如果您的本地机器上没有用于在集群节点上进行身份验证 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反之，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到您本地用户的 SSH 代理（如果尚未添加）。在集群节点上进行免密码 SSH 身份验证，或者您想要使用 ./openshift-install gather 命令，则需要使用 SSH 代理进行管理。

   注意

   在某些发行版中，会自动管理默认 SSH 私钥（如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa）。

   1. 如果 ssh-agent 进程还没有针对您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果您的集群采用 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义提供的 install-config.yaml 文件模板示例，并将其保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

   • 除非使用 RHCOS 默认信任的 registry，如 docker.io，否则必须在 additionalTrustBundle 部分中提供镜像存储库的证书内容。在大多数情况下，必须为您的镜像提供证书。

   • 您必须包含命令输出中的 imageContentSources 部分，才能镜像存储库。

     注意

     对于某些平台类型，您可以运行 ./openshift-install create install-config --dir <installation_directory> 来生成 install-config.yaml 文件。您可以在提示符处提供有关集群配置的详情。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 切换到包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

2. 删除定义 control plane 机器的 Kubernetes 清单文件以及计算机器集：

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   由于您要自行创建和管理这些资源，因此不必初始化这些资源。

   • 您可以使用机器 API 来保留机器集文件来创建计算机器，但您必须更新对其的引用，以匹配您的环境。

     警告

     如果要安装一个三节点集群，请跳过以下步骤，以便 control plane 节点可以调度。

     重要

     当您将 control plane 节点从默认的不可调度配置为可以调度时，需要额外的订阅。这是因为 control plane 节点随后变为 worker 节点。

3. 检查 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中的 mastersSchedulable 参数是否已设置为 false。此设置可防止在 control plane 机器上调度 pod:

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数并确保它被设置为 false。
   3. 保存并退出文件。

4. 要创建 Ignition 配置文件，从包含安装程序的目录运行以下命令：

   $ ./openshift-install create ignition-configs --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   Ignition 配置文件是为安装目录中的 bootstrap、control plane 和计算节点创建的 Ignition 配置文件。kubeadmin-password 和 kubeconfig 文件是在 ./<installation_directory>/auth 目录中创建的：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 创建包含 chrony.conf 文件内容的 Butane 配置。例如，要在 worker 节点上配置 chrony，请创建一个 99-worker-chrony.bu 文件。

   注意

   有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

   variant: openshift
   version: 4.8.0
   metadata:
     name: 99-worker-chrony 1
     labels:
       machineconfiguration.openshift.io/role: worker 2
   storage:
     files:
     - path: /etc/chrony.conf
       mode: 0644 3
       overwrite: true
       contents:
         inline: |
           pool 0.rhel.pool.ntp.org iburst 4
           driftfile /var/lib/chrony/drift
           makestep 1.0 3
           rtcsync
           logdir /var/log/chrony

   1 2

   在 control plane 节点上，在这两个位置中使用 worker 替换 master。

   3

   为机器配置文件的 mode 字段指定数值模式。在创建文件并应用更改后，模式 将转换为十进制值。您可以使用 oc get mc <mc-name> -o yaml 命令来检查 YAML 文件。

   4

   指定任何有效的、可访问的时间源，如 DHCP 服务器提供的时间源。

2. 使用 Butane 生成 MachineConfig 对象文件 99-worker-chrony.yaml，包含要提供给节点的配置：

   $ butane 99-worker-chrony.bu -o 99-worker-chrony.yaml

3. 使用两种方式之一应用配置：

   • 如果集群还没有运行，在生成清单文件后，将 MachineConfig 对象文件添加到 <installation_directory>/openshift 目录中，然后继续创建集群。

   • 如果集群已在运行，请应用该文件：

     $ oc apply -f ./99-worker-chrony.yaml

流程

1. 将名为 <installation_directory>/bootstrap.ign 的 bootstrap Ignition 配置文件上传到 HTTP 服务器，该配置文件是由安装程序创建的。记下此文件的 URL。

2. 将 bootstrap 节点的以下辅助 Ignition 配置文件保存到计算机中，存为 <installation_directory>/merge-bootstrap.ign ：

   {
     "ignition": {
       "config": {
         "merge": [
           {
             "source": "<bootstrap_ignition_config_url>", 1
             "verification": {}
           }
         ]
       },
       "timeouts": {},
       "version": "3.2.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   指定您托管的 bootstrap Ignition 配置文件的 URL。

   为 bootstrap 机器创建虚拟机 (VM) 时，您要使用此 Ignition 配置文件。

3. 找到安装程序创建的以下 Ignition 配置文件：

   • <installation_directory>/master.ign
   • <installation_directory>/worker.ign
   • <installation_directory>/merge-bootstrap.ign

4. 将 Ignition 配置文件转换为 Base64 编码。在此流程中，您必须将这些文件添加到虚拟机中的额外配置参数 guestinfo.ignition.config.data 中。

   例如，如果您使用 Linux 操作系统，可以使用 base64 命令来编码这些文件。

   $ base64 -w0 <installation_directory>/master.ign > <installation_directory>/master.64

   $ base64 -w0 <installation_directory>/worker.ign > <installation_directory>/worker.64

   $ base64 -w0 <installation_directory>/merge-bootstrap.ign > <installation_directory>/merge-bootstrap.64

   重要

   如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

5. 获取 RHCOS OVA 镜像。镜像位于 RHCOS 镜像镜像页面。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载一个最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

   文件名包含 OpenShift Container Platform 版本号，格式为 rhcos-vmware.<architecture>.ova。

6. 在 vSphere 客户端中，在数据中心中创建一个文件夹来存储您的虚拟机。

   1. 点击 VMs and Templates 视图。
   2. 右键点击您的数据中心名称。
   3. 点击 New Folder New VM and Template Folder。
   4. 在显示的窗口中输入文件夹名称。如果您没有在 install-config.yaml 文件中指定现有文件夹,请创建一个文件夹,其名称与基础架构 ID 相同。您可以使用这个文件夹名称，因此 vCenter 会在适当的位置为 Workspace 配置动态置备存储。

7. 在 vSphere 客户端中，为 OVA 镜像创建一个模板，然后根据需要克隆模板。

   注意

   在以下步骤中，您将创建一个模板，然后克隆所有集群机器的模板。然后，在置备虚拟机时，为该克隆的机器类型提供 Ignition 配置文件的位置。

   1. 在 Hosts and Clusters 选项卡中，右键点击您的集群名称并选择 Deploy OVF Template。
   2. 在 Select an OVF 选项卡中，指定您下载的 RHCOS OVA 文件的名称。
   3. 在 Select a name and folder 选项卡中，为您的模板设置 虚拟机名称，如 Template-RHCOS。点击 vSphere 集群的名称并选择您在上一步中创建的文件夹。
   4. 在 Select a compute resource 选项卡中，点击您的 vSphere 集群名称。

   5. 在 Select storage 选项卡中，配置虚拟机的存储选项。

      • 根据您的存储要求，选择Thin Provision 或 Thick Provision。
      • 选择您在 install-config.yaml 文件中指定的数据存储。
   6. 在 Select network 选项卡中，指定您为集群配置的网络（如果可用）。

   7. 在创建 OVF 模板时，请不要在 Customize template 选项卡上指定值，或者不要再配置模板。

      重要

      不要启动原始虚拟机模板。VM 模板必须保持关闭状态，必须为新的 RHCOS 机器克隆。启动虚拟机模板会将虚拟机模板配置为平台上的虚拟机，这样可防止它被用作计算机集可以应用配置的模板。

8. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。
   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。名称中可以包括机器类型，如 control-plane-0 或 compute-1。
   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机名称。
   5. 可选：在 Select storage 选项卡中，自定义存储选项。
   6. 在 Select clone options 中，选择 Customize this virtual machine’s hardware。

   7. 在 Customize hardware 选项卡中，点击 VM Options Advanced。

      • 可选：覆盖 vSphere 中的默认 DHCP 网络。启用静态 IP 网络：

        1. 设置静态 IP 配置：

           $ export IPCFG="ip=<ip>::<gateway>:<netmask>:<hostname>:<iface>:none nameserver=srv1 [nameserver=srv2 [nameserver=srv3 [...]]]"

           示例命令

           $ export IPCFG="ip=192.168.100.101::192.168.100.254:255.255.255.0:::none nameserver=8.8.8.8"

        2. 在从 vSphere 中的 OVA 引导虚拟机前，设置 guestinfo.afterburn.initrd.network-kargs 属性：

           $ govc vm.change -vm "<vm_name>" -e "guestinfo.afterburn.initrd.network-kargs=${IPCFG}"

      • 可选：在出现集群性能问题时，从 Latency Sensitivity 列表中选择 High。确定虚拟机的 CPU 和内存保留有以下值：

        • 内存保留值必须等于其配置的内存大小。
        • CPU 保留值必须至少是低延迟虚拟 CPU 的数量，乘以测量的物理 CPU 速度。
      • 单击 Edit Configuration，然后在 Configuration Parameters 窗口中搜索可用参数列表，以窃取时钟核算(stealclock.enable)。如果可用，则将其值设为 TRUE。启用窃取时钟核算有助于对集群问题进行故障排除。

      • 点 Add Configuration Params。定义以下参数名称和值：

        • guestinfo.ignition.config.data ：找到您在此流程中创建的 base-64 编码文件，并粘贴此机器类型的 base64 编码 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding：指定 base64。
        • disk.EnableUUID：指定 TRUE。
        • stealclock.enable ：如果没有定义此参数，请添加它并指定 TRUE。
   8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。
   9. 完成配置并打开虚拟机电源。

9. 对于每台机器，按照前面的步骤为集群创建其余的机器。

   重要

   此刻您必须创建 bootstrap 和 control plane 机器。由于计算机器中已默认部署了一些 Pod，因此在安装集群前，还要创建至少两台计算机器。

流程

1. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。
   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。您可以在名称中包含机器类型，如 compute-1。
   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机名称。
   5. 可选：在 Select storage 选项卡中，自定义存储选项。
   6. 在 Select clone options 中，选择 Customize this virtual machine’s hardware。

   7. 在 Customize hardware 选项卡中，点击 VM Options Advanced。

      • 从 Latency Sensitivity 列表中选择 High。

      • 点击 Edit Configuration，然后在 Configuration Parameters 窗口中点击 Add Configuration Params。定义以下参数名称和值：

        • guestinfo.ignition.config.data：粘贴此机器类型的 Base64 编码计算 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding：指定 base64。
        • disk.EnableUUID：指定 TRUE。
   8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。另外，如果有多个可用的网络，请确定在 Add network adapter 中 选择正确的网络。
   9. 完成配置并打开虚拟机电源。
2. 继续为集群创建更多计算机器。

流程

1. 创建存放 OpenShift Container Platform 安装文件的目录：

   $ mkdir $HOME/clusterconfig

2. 运行 openshift-install 在 manifest 和 openshift 子目录中创建一组文件。在出现提示时回答系统问题：

   $ openshift-install create manifests --dir $HOME/clusterconfig
   ? SSH Public Key ...
   $ ls $HOME/clusterconfig/openshift/
   99_kubeadmin-password-secret.yaml
   99_openshift-cluster-api_master-machines-0.yaml
   99_openshift-cluster-api_master-machines-1.yaml
   99_openshift-cluster-api_master-machines-2.yaml
   ...

3. 创建用于配置额外分区的 Butane 配置。例如，将文件命名为 $HOME/clusterconfig/98-var-partition.bu，将磁盘设备名称改为 worker 系统上存储设备的名称，并根据情况设置存储大小。这个示例将 /var 目录放在一个单独的分区中：

   variant: openshift
   version: 4.9.0
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 98-var-partition
   storage:
     disks:
     - device: /dev/<device_name> 1
       partitions:
       - label: var
         start_mib: <partition_start_offset> 2
         size_mib: <partition_size> 3
     filesystems:
       - device: /dev/disk/by-partlabel/var
         path: /var
         format: xfs
         mount_options: [defaults, prjquota] 4
         with_mount_unit: true

   1

   要分区的磁盘的存储设备名称。

   2

   当在引导磁盘中添加数据分区时，推荐最少使用 25000MB。root 文件系统会自动重新定义大小使其占据所有可用空间（最多到指定的偏移值）。如果没有指定值，或者指定的值小于推荐的最小值，则生成的 root 文件系统会太小，而在以后进行的 RHCOS 重新安装可能会覆盖数据分区的开始部分。

   3

   数据分区的大小（以兆字节为单位）。

   4

   对于用于容器存储的文件系统，必须启用 prjquota 挂载选项。

   注意

   在创建独立 /var 分区时，如果不同的实例类型没有相同的设备名称，则无法将不同的实例类型用于 worker 节点。

4. 从 Butane 配置创建一个清单，并将它保存到 clusterconfig/openshift 目录中。例如，运行以下命令：

   $ butane $HOME/clusterconfig/98-var-partition.bu -o $HOME/clusterconfig/openshift/98-var-partition.yaml

5. 再次运行 openshift-install，从 manifest 和 openshift 子目录中的一组文件创建 Ignition 配置：

   $ openshift-install create ignition-configs --dir $HOME/clusterconfig
   $ ls $HOME/clusterconfig/
   auth  bootstrap.ign  master.ign  metadata.json  worker.ign

1. 检查系统状态：

   # bootupctl status

   输出示例

   Component EFI
     Installed: grub2-efi-x64-1:2.04-31.fc33.x86_64,shim-x64-15-8.x86_64
     Update: At latest version

2. 如果创建的 RHCOS 镜像没有在其中安装 bootupd，则需要一个明确的采用步骤。

   如果系统状态是 Adoptable，执行采用过程：

   # bootupctl adopt-and-update

   输出示例

   Updated: grub2-efi-x64-1:2.04-31.fc33.x86_64,shim-x64-15-8.x86_64

3. 如果有可用更新，请应用更新以便在下次重启时使更改生效：

   # bootupctl update

   输出示例

   Updated: grub2-efi-x64-1:2.04-31.fc33.x86_64,shim-x64-15-8.x86_64

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir <installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   输出示例

   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.21.0 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   INFO It is now safe to remove the bootstrap resources

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化 bootstrap 机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.21.0
   master-1  Ready     master  63m  v1.21.0
   master-2  Ready     master  64m  v1.21.0

   输出将列出您创建的所有机器。

   注意

   在一些 CSR 被批准前，以上输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE   REQUESTOR                                   CONDITION
   csr-mddf5   20m   system:node:master-01.example.com   Approved,Issued
   csr-z5rln   16m   system:node:worker-21.example.com   Approved,Issued

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则 machine-approver 会自动批准后续服务证书续订请求。

   注意

   对于在未启用机器 API 的平台中运行的集群，如裸机和其他用户置备的基础架构，必须采用一种方法自动批准 kubelet 提供证书请求（CSR）。如果没有批准请求，则 oc exec、oc rsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。这个方法必须监视新的 CSR，确认 CSR 由 system:node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.21.0
   master-1  Ready     master  73m  v1.21.0
   master-2  Ready     master  74m  v1.21.0
   worker-0  Ready     worker  11m  v1.21.0
   worker-1  Ready     worker  11m  v1.21.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.8.2     True        False         False      19m
   baremetal                                  4.8.2     True        False         False      37m
   cloud-credential                           4.8.2     True        False         False      40m
   cluster-autoscaler                         4.8.2     True        False         False      37m
   config-operator                            4.8.2     True        False         False      38m
   console                                    4.8.2     True        False         False      26m
   csi-snapshot-controller                    4.8.2     True        False         False      37m
   dns                                        4.8.2     True        False         False      37m
   etcd                                       4.8.2     True        False         False      36m
   image-registry                             4.8.2     True        False         False      31m
   ingress                                    4.8.2     True        False         False      30m
   insights                                   4.8.2     True        False         False      31m
   kube-apiserver                             4.8.2     True        False         False      26m
   kube-controller-manager                    4.8.2     True        False         False      36m
   kube-scheduler                             4.8.2     True        False         False      36m
   kube-storage-version-migrator              4.8.2     True        False         False      37m
   machine-api                                4.8.2     True        False         False      29m
   machine-approver                           4.8.2     True        False         False      37m
   machine-config                             4.8.2     True        False         False      36m
   marketplace                                4.8.2     True        False         False      37m
   monitoring                                 4.8.2     True        False         False      29m
   network                                    4.8.2     True        False         False      38m
   node-tuning                                4.8.2     True        False         False      37m
   openshift-apiserver                        4.8.2     True        False         False      32m
   openshift-controller-manager               4.8.2     True        False         False      30m
   openshift-samples                          4.8.2     True        False         False      32m
   operator-lifecycle-manager                 4.8.2     True        False         False      37m
   operator-lifecycle-manager-catalog         4.8.2     True        False         False      37m
   operator-lifecycle-manager-packageserver   4.8.2     True        False         False      32m
   service-ca                                 4.8.2     True        False         False      38m
   storage                                    4.8.2     True        False         False      37m

2. 配置不可用的 Operator。

流程

1. 使用以下命令确认所有集群组件都已在线：

   $ watch -n5 oc get clusteroperators

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.8.2     True        False         False      19m
   baremetal                                  4.8.2     True        False         False      37m
   cloud-credential                           4.8.2     True        False         False      40m
   cluster-autoscaler                         4.8.2     True        False         False      37m
   config-operator                            4.8.2     True        False         False      38m
   console                                    4.8.2     True        False         False      26m
   csi-snapshot-controller                    4.8.2     True        False         False      37m
   dns                                        4.8.2     True        False         False      37m
   etcd                                       4.8.2     True        False         False      36m
   image-registry                             4.8.2     True        False         False      31m
   ingress                                    4.8.2     True        False         False      30m
   insights                                   4.8.2     True        False         False      31m
   kube-apiserver                             4.8.2     True        False         False      26m
   kube-controller-manager                    4.8.2     True        False         False      36m
   kube-scheduler                             4.8.2     True        False         False      36m
   kube-storage-version-migrator              4.8.2     True        False         False      37m
   machine-api                                4.8.2     True        False         False      29m
   machine-approver                           4.8.2     True        False         False      37m
   machine-config                             4.8.2     True        False         False      36m
   marketplace                                4.8.2     True        False         False      37m
   monitoring                                 4.8.2     True        False         False      29m
   network                                    4.8.2     True        False         False      38m
   node-tuning                                4.8.2     True        False         False      37m
   openshift-apiserver                        4.8.2     True        False         False      32m
   openshift-controller-manager               4.8.2     True        False         False      30m
   openshift-samples                          4.8.2     True        False         False      32m
   operator-lifecycle-manager                 4.8.2     True        False         False      37m
   operator-lifecycle-manager-catalog         4.8.2     True        False         False      37m
   operator-lifecycle-manager-packageserver   4.8.2     True        False         False      32m
   service-ca                                 4.8.2     True        False         False      38m
   storage                                    4.8.2     True        False         False      37m

   或者，通过以下命令，如果所有集群都可用您会接到通知。它还检索并显示凭证：

   $ ./openshift-install --dir <installation_directory> wait-for install-complete 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   输出示例

   INFO Waiting up to 30m0s for the cluster to initialize...

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要
   • 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在过期时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外情况是，您需要手动批准待处理的 node-bootstrapper 证书签名请求（CSR）来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书中恢复的文档。
   • 建议您在生成 12 小时后使用 Ignition 配置文件，因为集群安装后 24 小时证书从 16 小时轮转至 22 小时。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中运行证书更新时避免安装失败。

2. 确认 Kubernetes API 服务器正在与 pod 通信。

   1. 要查看所有 pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces

      输出示例

      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 pod 名称和命名空间，如上一命令的输出中所示。

      如果 pod 日志显示，Kubernetes API 服务器可以与集群机器通信。

3. 使用 Fibre Channel Protocol（FCP）安装需要额外的步骤来启用多路径。不要在安装过程中启用多路径。

   如需更多信息，请参阅安装后机器配置任务文档中的"使用 RHCOS 上使用内核参数启用多路径"。

4. 在 Cluster registration 页面注册您的集群。

1. 停止使用持久性卷的应用程序。
2. 克隆持久性卷。
3. 重启应用程序。
4. 创建克隆的卷的备份。
5. 删除克隆的卷。