在 RHV 上安装

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.12。

   1. 在 RHV 管理门户中，单击右上角的 ? 帮助图标，然后选择 About。
   2. 在打开的窗口中，记下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点击 Compute → Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 单击该数据中心的名称。
   4. 在数据中心详情中，Storage 选项卡中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下 域名 以供稍后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，您可以使用 fio 性能基准工具进行测量。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点击 Compute > Clusters。
   2. 点击您要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 选项卡。
   4. 检查主机，并确认它们有至少 28 个 逻辑 CPU 内核， 专门用于 OpenShift Container Platform 集群。
   5. 记录 逻辑 CPU 内核数 以便稍后使用。
   6. 确认这些 CPU 内核被分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器都需要 16 GiB
      • 三个计算机器各自都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的数量， 以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络是否可以访问 RHV Manager 的 REST API。在这个网络上的虚拟机中，使用 curl 访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，请指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。对于 <password>，指定该用户名的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 保留两个静态 IP 地址

   1. 在您要安装 OpenShift Container Platform 的网络上，标识 DHCP 租期池之外的两个静态 IP 地址。

   2. 连接到此网络上的主机，并验证每个 IP 地址都没有被使用。例如，使用地址解析协议(ARP)检查 IP 地址是否有条目：

      $ arp 10.35.1.19

      输出示例

      10.35.1.19 (10.35.1.19) -- no entry

   3. 为您的网络环境保留两个静态 IP 地址。
   4. 记录这些 IP 地址以备将来参考。

2. 为 OpenShift Container Platform REST API 创建 DNS 条目，并使用以下格式应用域名：

   api.<cluster-name>.<base-domain>   <ip-address> 1
   *.apps.<cluster-name>.<base-domain>   <ip-address> 2

   1

   对于 <cluster-name> 、<base-domain> 和 <ip-address>，请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。

   2

   指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

   例如：

   api.my-cluster.virtlab.example.com	10.35.1.19
   *.apps.my-cluster.virtlab.example.com	10.35.1.20

流程

1. 创建名为 ~/.ovirt/ovirt-config.yaml 的文件。

2. 在 ovirt-config.yaml 中添加以下内容：

   ovirt_url: https://ovirt.example.com/ovirt-engine/api 1
   ovirt_fqdn: ovirt.example.com 2
   ovirt_pem_url: ""
   ovirt_username: ocpadmin@internal
   ovirt_password: super-secret-password 3
   ovirt_insecure: true

   1

   指定 oVirt 引擎的主机名或地址。

   2

   指定 oVirt 引擎的完全限定域名。

   3

   指定 oVirt 引擎的 admin 密码。

3. 运行安装程序。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 FIPS 验证或 Modules In Process 加密库的 OpenShift Container Platform 集群。请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 进入包含安装程序的目录并初始化集群部署：

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   在指定目录时：

   • 验证该目录是否具有执行权限。在安装目录中运行 Terraform 二进制文件需要这个权限。
   • 使用空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

2. 根据安装程序提示。

   1. 可选：对于 SSH 公钥，请选择无密码公钥，如 ~/.ssh/id_rsa.pub。此密钥验证与新 OpenShift Container Platform 集群的连接。

      注意

      对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请选择 ssh-agent 进程使用的 SSH 密钥。

   2. 对于 Platform，选择 ovirt。

   3. 对于 Engine FQDN[:PORT]，请输入 RHV 环境的完全限定域名(FQDN)。

      例如：

      rhv-env.virtlab.example.com:443

   4. 安装程序自动生成 CA 证书。对于 您想要使用上述证书连接到管理器吗？，回答 y 或 N。如果回答 N，则必须以不安全的模式安装 OpenShift Container Platform。

   5. 对于 Engine username，请使用以下格式输入 RHV 管理员的用户名和配置文件：

      <username>@<profile> 1

      1

      对于 <username>，请指定 RHV 管理员的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。例如： admin@internal。

   6. 对于 Engine 密码，请输入 RHV admin 密码。
   7. 对于 Cluster，请选择用于安装 OpenShift Container Platform 的 RHV 集群。
   8. 对于 Storage domain，请选择安装 OpenShift Container Platform 的存储域。
   9. 对于 Network，请选择可访问 RHV Manager REST API 的虚拟网络。
   10. 对于 Internal API Virtual IP，请为集群的 REST API 输入您设置的静态 IP 地址。
   11. 对于 Ingress 虚拟 IP，请为通配符应用程序域输入您保留的静态 IP 地址。
   12. 对于 Base Domain，请输入 OpenShift Container Platform 集群的基域。如果这个集群暴露于外部世界，这必须是 DNS 基础架构识别的有效域。例如： 输入 virtlab.example.com
   13. 对于 Cluster Name，请输入集群名称。例如： my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称，并应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
   14. 对于 Pull Secret，请从之前下载并粘贴 的 pull-secret.txt 文件中复制 pull secret。您还可以从 Red Hat OpenShift Cluster Manager 获取同一 pull secret 的副本。
   注意

   如果您在主机上配置的云供应商帐户没有足够的权限来部署集群，安装过程将停止，并显示缺少的权限。

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 产品变体 下拉列表中选择架构。
3. 从 版本 下拉列表中选择适当的版本。
4. 点 OpenShift v4.12 Linux Client 条目旁的 Download Now 来保存文件。

5. 解包存档：

   $ tar xvf <file>

6. 将 oc 二进制文件放到 PATH 中的目录中。

   要查看您的 PATH，请执行以下命令：

   $ echo $PATH

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。
3. 点 OpenShift v4.12 Windows Client 条目旁的 Download Now 来保存文件。
4. 使用 ZIP 程序解压存档。

5. 将 oc 二进制文件移到 PATH 中的目录中。

   要查看您的 PATH，请打开命令提示并执行以下命令：

   C:\> path

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。

3. 点 OpenShift v4.12 macOS Client 条目旁的 Download Now 来保存文件。

   注意

   对于 macOS arm64，请选择 OpenShift v4.12 macOS arm64 Client 条目。

4. 解包和解压存档。

5. 将 oc 二进制文件移到 PATH 的目录中。

   要查看您的 PATH，请打开终端并执行以下命令：

   $ echo $PATH

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 可选： 在 Red Hat Virtualization(RHV)管理门户中，打开 Compute → Cluster。
2. 验证安装程序是否创建了虚拟机。
3. 返回到安装程序正在运行的命令行。安装程序完成后，它会显示登录 OpenShift Container Platform Web 控制台的用户名和临时密码。

4. 在一个浏览器中，打开 OpenShift Container Platform Web 控制台的 URL。URL 使用以下格式：

   console-openshift-console.apps.<clustername>.<basedomain> 1

   1

   对于 <clustername>.<basedomain>，请指定集群名称和基域。

   例如：

   console-openshift-console.apps.my-cluster.virtlab.example.com

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.12。

   1. 在 RHV 管理门户中，单击右上角的 ? 帮助图标，然后选择 About。
   2. 在打开的窗口中，记下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点击 Compute → Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 单击该数据中心的名称。
   4. 在数据中心详情中，Storage 选项卡中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下 域名 以供稍后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，您可以使用 fio 性能基准工具进行测量。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点击 Compute > Clusters。
   2. 点击您要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 选项卡。
   4. 检查主机，并确认它们有至少 28 个 逻辑 CPU 内核， 专门用于 OpenShift Container Platform 集群。
   5. 记录 逻辑 CPU 内核数 以便稍后使用。
   6. 确认这些 CPU 内核被分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器都需要 16 GiB
      • 三个计算机器各自都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的数量， 以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络是否可以访问 RHV Manager 的 REST API。在这个网络上的虚拟机中，使用 curl 访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，请指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。对于 <password>，指定该用户名的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 保留两个静态 IP 地址

   1. 在您要安装 OpenShift Container Platform 的网络上，标识 DHCP 租期池之外的两个静态 IP 地址。

   2. 连接到此网络上的主机，并验证每个 IP 地址都没有被使用。例如，使用地址解析协议(ARP)检查 IP 地址是否有条目：

      $ arp 10.35.1.19

      输出示例

      10.35.1.19 (10.35.1.19) -- no entry

   3. 为您的网络环境保留两个静态 IP 地址。
   4. 记录这些 IP 地址以备将来参考。

2. 为 OpenShift Container Platform REST API 创建 DNS 条目，并使用以下格式应用域名：

   api.<cluster-name>.<base-domain>   <ip-address> 1
   *.apps.<cluster-name>.<base-domain>   <ip-address> 2

   1

   对于 <cluster-name> 、<base-domain> 和 <ip-address>，请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。

   2

   指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

   例如：

   api.my-cluster.virtlab.example.com	10.35.1.19
   *.apps.my-cluster.virtlab.example.com	10.35.1.20

流程

1. 创建名为 ~/.ovirt/ovirt-config.yaml 的文件。

2. 在 ovirt-config.yaml 中添加以下内容：

   ovirt_url: https://ovirt.example.com/ovirt-engine/api 1
   ovirt_fqdn: ovirt.example.com 2
   ovirt_pem_url: ""
   ovirt_username: ocpadmin@internal
   ovirt_password: super-secret-password 3
   ovirt_insecure: true

   1

   指定 oVirt 引擎的主机名或地址。

   2

   指定 oVirt 引擎的完全限定域名。

   3

   指定 oVirt 引擎的 admin 密码。

3. 运行安装程序。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 FIPS 验证或 Modules In Process 加密库的 OpenShift Container Platform 集群。请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      在指定目录时：

      • 验证该目录是否具有执行权限。在安装目录中运行 Terraform 二进制文件需要这个权限。
      • 使用空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

   2. 根据安装程序提示。

      1. 对于 SSH 公钥，请选择免密码公钥，如 ~/.ssh/id_rsa.pub。此密钥验证与新 OpenShift Container Platform 集群的连接。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请选择 ssh-agent 进程使用的 SSH 密钥。

      2. 对于 Platform，选择 ovirt。

      3. 对于 Enter oVirt's API 端点 URL，请使用以下格式输入 RHV API 的 URL：

         https://<engine-fqdn>/ovirt-engine/api 1

         1

         对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

         例如：

         $ curl -k -u ocpadmin@internal:pw123 \
         https://rhv-env.virtlab.example.com/ovirt-engine/api

      4. 对于 Is the oVirt CA local?，请输入 Yes，因为您已经设置了 CA 证书。否则，请输入 No。
      5. 对于 oVirt 的 CA 捆绑包，如果您为之前的问题输入的是 Yes，请从 /etc/pki/ca-trust/source/anchors/ca.pem 中复制证书内容并将其粘贴到此处。然后，按 Enter 键 两次。如果您对前一个问题输入 No，则不会出现这个问题。

      6. 对于 oVirt engine username，请使用以下格式输入 RHV 管理员的用户名和配置文件：

         <username>@<profile> 1

         1

         对于 <username>，请指定 RHV 管理员的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。用户名和配置集应类似以下示例：

         ocpadmin@internal

      7. 对于 oVirt engine password，请输入 RHV admin 密码。
      8. 对于 oVirt cluster，请选择用于安装 OpenShift Container Platform 的集群。
      9. 对于 oVirt 存储域，请选择安装 OpenShift Container Platform 的存储域。
      10. 对于 oVirt network，请选择可访问 RHV Manager REST API 的虚拟网络。
      11. 对于 Internal API Virtual IP，请为集群的 REST API 输入您设置的静态 IP 地址。
      12. 对于 Ingress 虚拟 IP，请为通配符应用程序域输入您保留的静态 IP 地址。
      13. 对于 Base Domain，请输入 OpenShift Container Platform 集群的基域。如果这个集群暴露于外部世界，这必须是 DNS 基础架构识别的有效域。例如： 输入 virtlab.example.com
      14. 对于 Cluster Name，请输入集群名称。例如： my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称，并应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
      15. 对于 Pull Secret，请从之前下载并粘贴 的 pull-secret.txt 文件中复制 pull secret。您还可以从 Red Hat OpenShift Cluster Manager 获取同一 pull secret 的副本。

2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

   注意

   如果您在 Manager 上有任何中间 CA 证书，请验证证书是否出现在 ovirt-config.yaml 文件中以及 install-config.yaml 文件中。如果没有显示它们，请按如下所示添加：

   1. 在 ~/.ovirt/ovirt-config.yaml 文件中：

      [ovirt_ca_bundle]: |
           -----BEGIN CERTIFICATE-----
           <MY_TRUSTED_CA>
           -----END CERTIFICATE-----
           -----BEGIN CERTIFICATE-----
           <INTERMEDIATE_CA>
           -----END CERTIFICATE-----

   2. 在 install-config.yaml 文件中：

      [additionalTrustBundle]: |
           -----BEGIN CERTIFICATE-----
           <MY_TRUSTED_CA>
           -----END CERTIFICATE-----
           -----BEGIN CERTIFICATE-----
           <INTERMEDIATE_CA>
           -----END CERTIFICATE-----

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用该文件，您必须立即备份该文件。

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 产品变体 下拉列表中选择架构。
3. 从 版本 下拉列表中选择适当的版本。
4. 点 OpenShift v4.12 Linux Client 条目旁的 Download Now 来保存文件。

5. 解包存档：

   $ tar xvf <file>

6. 将 oc 二进制文件放到 PATH 中的目录中。

   要查看您的 PATH，请执行以下命令：

   $ echo $PATH

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。
3. 点 OpenShift v4.12 Windows Client 条目旁的 Download Now 来保存文件。
4. 使用 ZIP 程序解压存档。

5. 将 oc 二进制文件移到 PATH 中的目录中。

   要查看您的 PATH，请打开命令提示并执行以下命令：

   C:\> path

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。

3. 点 OpenShift v4.12 macOS Client 条目旁的 Download Now 来保存文件。

   注意

   对于 macOS arm64，请选择 OpenShift v4.12 macOS arm64 Client 条目。

4. 解包和解压存档。

5. 将 oc 二进制文件移到 PATH 的目录中。

   要查看您的 PATH，请打开终端并执行以下命令：

   $ echo $PATH

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 可选： 在 Red Hat Virtualization(RHV)管理门户中，打开 Compute → Cluster。
2. 验证安装程序是否创建了虚拟机。
3. 返回到安装程序正在运行的命令行。安装程序完成后，它会显示登录 OpenShift Container Platform Web 控制台的用户名和临时密码。

4. 在一个浏览器中，打开 OpenShift Container Platform Web 控制台的 URL。URL 使用以下格式：

   console-openshift-console.apps.<clustername>.<basedomain> 1

   1

   对于 <clustername>.<basedomain>，请指定集群名称和基域。

   例如：

   console-openshift-console.apps.my-cluster.virtlab.example.com

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.12。

   1. 在 RHV 管理门户中，单击右上角的 ? 帮助图标，然后选择 About。
   2. 在打开的窗口中，记下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点击 Compute → Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 单击该数据中心的名称。
   4. 在数据中心详情中，Storage 选项卡中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下 域名 以供稍后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，您可以使用 fio 性能基准工具进行测量。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点击 Compute > Clusters。
   2. 点击您要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 选项卡。
   4. 检查主机，并确认它们有至少 28 个 逻辑 CPU 内核， 专门用于 OpenShift Container Platform 集群。
   5. 记录 逻辑 CPU 内核数 以便稍后使用。
   6. 确认这些 CPU 内核被分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器都需要 16 GiB
      • 三个计算机器各自都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的数量， 以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络是否可以访问 RHV Manager 的 REST API。在这个网络上的虚拟机中，使用 curl 访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，请指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。对于 <password>，指定该用户名的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 更新或安装 Python3 和 Ansible。例如：

   # dnf update python3 ansible

2. 安装 python3-ovirt-engine-sdk4 软件包，以获取 Python 软件开发套件。

3. 安装 ovirt.image-template Ansible 角色。在 RHV Manager 和其他 Red Hat Enterprise Linux(RHEL)机器上，这个角色作为 ovirt-ansible-image-template 软件包发布。例如，输入：

   # dnf install ovirt-ansible-image-template

4. 安装 ovirt.vm-infra Ansible 角色。在 RHV Manager 和其他 RHEL 机器上，此角色作为 ovirt-ansible-vm-infra 软件包发布。

   # dnf install ovirt-ansible-vm-infra

5. 创建环境变量并为其分配绝对或相对路径。例如，输入：

   $ export ASSETS_DIR=./wrk

   注意

   安装程序使用此变量创建保存重要安装相关文件的目录。之后，安装过程会重复使用此变量来定位这些资产文件。避免删除此资产目录 ; 卸载集群时需要该目录。

流程

1. 创建名为 ~/.ovirt/ovirt-config.yaml 的文件。

2. 在 ovirt-config.yaml 中添加以下内容：

   ovirt_url: https://ovirt.example.com/ovirt-engine/api 1
   ovirt_fqdn: ovirt.example.com 2
   ovirt_pem_url: ""
   ovirt_username: ocpadmin@internal
   ovirt_password: super-secret-password 3
   ovirt_insecure: true

   1

   指定 oVirt 引擎的主机名或地址。

   2

   指定 oVirt 引擎的完全限定域名。

   3

   指定 oVirt 引擎的 admin 密码。

3. 运行安装程序。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 FIPS 验证或 Modules In Process 加密库的 OpenShift Container Platform 集群。请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 找到您要安装的 OpenShift Container Platform 版本的 RHCOS 镜像下载页面，如 /pub/openshift-v4/dependencies/rhcos/latest/latest/latest/latest/latest。
2. 在该下载页面中复制 OpenStack qcow2 镜像的 URL，如 https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.12/latest/rhcos-openstack.x86_64.qcow2.gz。

3. 编辑之前下载的 inventory.yml playbook。在其中包含，将 URL 粘贴为 image_url 的值。例如：

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.12/latest/rhcos-openstack.x86_64.qcow2.gz"

流程

1. 运行安装程序：

   $ openshift-install create install-config --dir $ASSETS_DIR

2. 根据安装程序的提示输入您的系统信息。

   输出示例

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

流程

1. 将计算节点数量设置为零副本：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. 设置机器网络的 IP 范围。例如，要将范围设置为 172.16.0.0/16，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. 删除 ovirt 部分，并将平台改为 none ：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   警告

   Red Hat Virtualization 目前不支持使用 oVirt 平台的用户置备的基础架构进行安装。因此，您必须将平台设置为 none，允许 OpenShift Container Platform 将每个节点识别为裸机节点，并将集群识别为裸机集群。这与 在任何平台上安装集群 相同，并有以下限制：

   1. 没有集群供应商，因此您必须手动添加每台机器，且没有节点扩展功能。
   2. 不会安装 oVirt CSI 驱动程序，且没有 CSI 功能。

流程

1. 可选：创建 install-config.yaml 文件的备份副本：

   $ cp install-config.yaml install-config.yaml.backup

2. 在资产目录中生成一组清单：

   $ openshift-install create manifests --dir $ASSETS_DIR

   此命令显示以下消息：

   输出示例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   该命令生成以下清单文件：

   输出示例

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

流程

1. 要使 control plane 节点不可调度，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

流程

1. 要构建 Ignition 文件，请输入：

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   输出示例

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

流程

1. 在 inventory.yml 中，在 control_plane 和 compute 变量下，将 type: high_performance 的两个实例更改为 type: server。

2. 可选： 如果您计划在同一集群中执行多个安装，请为每个 OpenShift Container Platform 安装创建不同的模板。在 inventory.yml 文件中，使用 infraID 预先 填充 模板 的值。例如：

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. 创建模板和虚拟机：

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

流程

1. 创建 bootstrap 机器：

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 使用管理门户或 SSH 中的控制台连接到 bootstrap 机器。将 <bootstrap_ip> 替换为 bootstrap 节点 IP 地址。要使用 SSH，请输入：

   $ ssh core@<boostrap.ip>

3. 从 bootstrap 节点收集发行镜像服务的 bootkube.service journald 单元日志：

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   注意

   bootstrap 节点上的 bootkube.service 日志输出 etcd 连接被拒绝 的错误，这表示 bootstrap 服务器无法在 control plane 节点上连接到 etcd。在每个 control plane 节点上启动 etcd 且节点已加入集群后，错误应该会停止。

流程

1. 创建 control plane 节点：

   $ ansible-playbook -i inventory.yml masters.yml

2. 在 playbook 创建 control plane 时，监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   输出示例

   INFO API v1.25.0 up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. 当 control plane 节点上的所有 pod 都启动并运行 etcd 时，安装程序会显示以下输出。

   输出示例

   INFO It is now safe to remove the bootstrap resources

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 要从集群中删除 bootstrap 机器，请输入：

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. 从负载均衡器指令中删除 bootstrap 机器的设置。

流程

1. 创建 worker 节点：

   $ ansible-playbook -i inventory.yml workers.yml

2. 要列出所有 CSR，请输入：

   $ oc get csr -A

   最后，这个命令会显示每个节点的一个 CSR。例如：

   输出示例

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 要过滤列表并只查看待处理的 CSR，请输入：

   $ watch "oc get csr -A | grep pending -i"

   此命令每两秒钟刷新输出一次，仅显示待处理的 CSR。例如：

   输出示例

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 检查每个待处理的请求。例如：

   输出示例

   $ oc describe csr csr-m724n

   输出示例

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. 如果 CSR 信息正确，则批准请求：

   $ oc adm certificate approve csr-m724n

6. 等待安装过程完成：

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   安装完成后，命令行会显示 OpenShift Container Platform Web 控制台的 URL，以及管理员用户名和密码。

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.12。

   1. 在 RHV 管理门户中，单击右上角的 ? 帮助图标，然后选择 About。
   2. 在打开的窗口中，记下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点击 Compute → Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 单击该数据中心的名称。
   4. 在数据中心详情中，Storage 选项卡中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下 域名 以供稍后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，您可以使用 fio 性能基准工具进行测量。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点击 Compute > Clusters。
   2. 点击您要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 选项卡。
   4. 检查主机，并确认它们有至少 28 个 逻辑 CPU 内核， 专门用于 OpenShift Container Platform 集群。
   5. 记录 逻辑 CPU 内核数 以便稍后使用。
   6. 确认这些 CPU 内核被分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器都需要 16 GiB
      • 三个计算机器各自都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的数量， 以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络是否可以访问 RHV Manager 的 REST API。在这个网络上的虚拟机中，使用 curl 访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，请指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。对于 <password>，指定该用户名的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 更新或安装 Python3 和 Ansible。例如：

   # dnf update python3 ansible

2. 安装 python3-ovirt-engine-sdk4 软件包，以获取 Python 软件开发套件。

3. 安装 ovirt.image-template Ansible 角色。在 RHV Manager 和其他 Red Hat Enterprise Linux(RHEL)机器上，这个角色作为 ovirt-ansible-image-template 软件包发布。例如，输入：

   # dnf install ovirt-ansible-image-template

4. 安装 ovirt.vm-infra Ansible 角色。在 RHV Manager 和其他 RHEL 机器上，此角色作为 ovirt-ansible-vm-infra 软件包发布。

   # dnf install ovirt-ansible-vm-infra

5. 创建环境变量并为其分配绝对或相对路径。例如，输入：

   $ export ASSETS_DIR=./wrk

   注意

   安装程序使用此变量创建保存重要安装相关文件的目录。之后，安装过程会重复使用此变量来定位这些资产文件。避免删除此资产目录 ; 卸载集群时需要该目录。

流程

1. 使用这两种方法之一下载 CA 证书：

   • 进入 Manager 的网页 https://<engine-fqdn>/ovirt-engine/。然后，在 下载下， 单击 CA 证书 链接。

   • 运行以下命令：

     $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1

     1

     对于 <engine-fqdn>，请指定 RHV Manager 的完全限定域名，如 rhv-env.virtlab.example.com。

2. 配置 CA 文件，为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 （symbolic 值： -rw-r-​r--）：

   $ sudo chmod 0644 /tmp/ca.pem

3. 对于 Linux，将 CA 证书复制到服务器证书目录中。使用 -p 保留权限：

   $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem

4. 将证书添加到您的操作系统的证书管理器：

   • 对于 macOS，双击证书文件并使用 Keychain Access 实用程序将文件添加到 System 密钥链中。

   • 对于 Linux，更新 CA 信任：

     $ sudo update-ca-trust

     注意

     如果您使用您自己的证书颁发机构，请确保系统信任它。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 FIPS 验证或 Modules In Process 加密库的 OpenShift Container Platform 集群。请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 找到您要安装的 OpenShift Container Platform 版本的 RHCOS 镜像下载页面，如 /pub/openshift-v4/dependencies/rhcos/latest/latest/latest/latest/latest。
2. 在该下载页面中复制 OpenStack qcow2 镜像的 URL，如 https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.12/latest/rhcos-openstack.x86_64.qcow2.gz。

3. 编辑之前下载的 inventory.yml playbook。在其中包含，将 URL 粘贴为 image_url 的值。例如：

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.12/latest/rhcos-openstack.x86_64.qcow2.gz"

流程

1. 运行安装程序：

   $ openshift-install create install-config --dir $ASSETS_DIR

2. 根据安装程序的提示输入您的系统信息。

   输出示例

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

流程

1. 将计算节点数量设置为零副本：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. 设置机器网络的 IP 范围。例如，要将范围设置为 172.16.0.0/16，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. 删除 ovirt 部分，并将平台改为 none ：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   警告

   Red Hat Virtualization 目前不支持使用 oVirt 平台的用户置备的基础架构进行安装。因此，您必须将平台设置为 none，允许 OpenShift Container Platform 将每个节点识别为裸机节点，并将集群识别为裸机集群。这与 在任何平台上安装集群 相同，并有以下限制：

   1. 没有集群供应商，因此您必须手动添加每台机器，且没有节点扩展功能。
   2. 不会安装 oVirt CSI 驱动程序，且没有 CSI 功能。

流程

1. 可选：创建 install-config.yaml 文件的备份副本：

   $ cp install-config.yaml install-config.yaml.backup

2. 在资产目录中生成一组清单：

   $ openshift-install create manifests --dir $ASSETS_DIR

   此命令显示以下消息：

   输出示例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   该命令生成以下清单文件：

   输出示例

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

流程

1. 要使 control plane 节点不可调度，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

流程

1. 要构建 Ignition 文件，请输入：

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   输出示例

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

流程

1. 在 inventory.yml 中，在 control_plane 和 compute 变量下，将 type: high_performance 的两个实例更改为 type: server。

2. 可选： 如果您计划在同一集群中执行多个安装，请为每个 OpenShift Container Platform 安装创建不同的模板。在 inventory.yml 文件中，使用 infraID 预先 填充 模板 的值。例如：

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. 创建模板和虚拟机：

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

流程

1. 创建 bootstrap 机器：

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 使用管理门户或 SSH 中的控制台连接到 bootstrap 机器。将 <bootstrap_ip> 替换为 bootstrap 节点 IP 地址。要使用 SSH，请输入：

   $ ssh core@<boostrap.ip>

3. 从 bootstrap 节点收集发行镜像服务的 bootkube.service journald 单元日志：

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   注意

   bootstrap 节点上的 bootkube.service 日志输出 etcd 连接被拒绝 的错误，这表示 bootstrap 服务器无法在 control plane 节点上连接到 etcd。在每个 control plane 节点上启动 etcd 且节点已加入集群后，错误应该会停止。

流程

1. 创建 control plane 节点：

   $ ansible-playbook -i inventory.yml masters.yml

2. 在 playbook 创建 control plane 时，监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   输出示例

   INFO API v1.25.0 up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. 当 control plane 节点上的所有 pod 都启动并运行 etcd 时，安装程序会显示以下输出。

   输出示例

   INFO It is now safe to remove the bootstrap resources

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 要从集群中删除 bootstrap 机器，请输入：

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. 从负载均衡器指令中删除 bootstrap 机器的设置。

流程

1. 创建 worker 节点：

   $ ansible-playbook -i inventory.yml workers.yml

2. 要列出所有 CSR，请输入：

   $ oc get csr -A

   最后，这个命令会显示每个节点的一个 CSR。例如：

   输出示例

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 要过滤列表并只查看待处理的 CSR，请输入：

   $ watch "oc get csr -A | grep pending -i"

   此命令每两秒钟刷新输出一次，仅显示待处理的 CSR。例如：

   输出示例

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 检查每个待处理的请求。例如：

   输出示例

   $ oc describe csr csr-m724n

   输出示例

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. 如果 CSR 信息正确，则批准请求：

   $ oc adm certificate approve csr-m724n

6. 等待安装过程完成：

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   安装完成后，命令行会显示 OpenShift Container Platform Web 控制台的 URL，以及管理员用户名和密码。

流程

1. 在用来安装集群的计算机中，进入包含安装程序的目录，并运行以下命令：

   $ ./openshift-install destroy cluster \
   --dir <installation_directory> --log-level info 1 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的详情，请指定 warn、debug 或 error，而不是 info。

   注意

   您必须为集群指定包含集群定义文件的目录。安装程序需要此目录中的 metadata.json 文件来删除集群。

2. 可选：删除 <installation_directory> 目录和 OpenShift Container Platform 安装程序。

流程

1. 要删除集群，请输入：

   $ ansible-playbook -i inventory.yml \
       retire-bootstrap.yml \
       retire-masters.yml   \
       retire-workers.yml

2. 删除您添加到 DNS、负载均衡器以及此集群的任何其他基础架构的任何配置。