7.8. 在 GCP 上将集群安装到共享 VPC 中
在 OpenShift Container Platform 版本 4.16 中,您可以在 Google Cloud Platform (GCP) 上将集群安装到共享 VPC 中。在这个安装方法中,集群被配置为使用来自不同 GCP 项目的 VPC。共享 VPC 可让组织将资源从多个项目连接到一个通用 VPC 网络。您可以使用来自该网络的内部 IP 地址,在组织内安全、高效地通信。有关共享 VPC 的更多信息,请参阅 GCP 文档中的共享 VPC 概述。
				安装程序会置备所需基础架构的其余部分,您可以进一步自定义这些基础架构。要自定义安装,请在安装集群前修改 install-config.yaml 文件中的参数。
			
7.8.1. 先决条件
- 您可以参阅有关 OpenShift Container Platform 安装和更新 流程的详细信息。
- 您可以阅读有关 选择集群安装方法的文档,并为用户准备它。
- 如果使用防火墙,将其配置为允许集群需要访问的站点。
- 您有一个包含共享 VPC 网络的 GCP 主机项目。
- 已将 GCP 项目配置为 托管集群。此项目(称为服务项目)必须附加到主机项目。如需更多信息,请参阅 GCP 文档中的附加服务项目。
- 您有一个 GCP 服务帐户,它在主机和服务项目中都有所需的 GCP 权限。
7.8.2. OpenShift Container Platform 互联网访问
在 OpenShift Container Platform 4.16 中,您需要访问互联网来安装集群。
您必须具有以下互联网访问权限:
- 访问 OpenShift Cluster Manager 以下载安装程序并执行订阅管理。如果集群可以访问互联网,并且没有禁用 Telemetry,该服务会自动授权您的集群。
- 访问 Quay.io,以获取安装集群所需的软件包。
- 获取执行集群更新所需的软件包。
如果您的集群无法直接访问互联网,则可以在置备的某些类型的基础架构上执行受限网络安装。在此过程中,您可以下载所需的内容,并使用它为镜像 registry 填充安装软件包。对于某些安装类型,集群要安装到的环境不需要访问互联网。在更新集群前,您要更新镜像 registry 的内容。
7.8.3. 为集群节点 SSH 访问生成密钥对
					在 OpenShift Container Platform 安装过程中,您可以为安装程序提供 SSH 公钥。密钥通过它们的 Ignition 配置文件传递给 Red Hat Enterprise Linux CoreOS(RHCOS)节点,用于验证对节点的 SSH 访问。密钥添加到每个节点上 core 用户的 ~/.ssh/authorized_keys 列表中,这将启用免密码身份验证。
				
					将密钥传递给节点后,您可以使用密钥对作为用户 核心 通过 SSH 连接到 RHCOS 节点。若要通过 SSH 访问节点,必须由 SSH 为您的本地用户管理私钥身份。
				
					如果要通过 SSH 连接到集群节点来执行安装调试或灾难恢复,则必须在安装过程中提供 SSH 公钥。./openshift-install gather 命令还需要在集群节点上设置 SSH 公钥。
				
不要在生产环境中跳过这个过程,在生产环境中需要灾难恢复和调试。
您必须使用本地密钥,而不是使用特定平台方法配置 的密钥,如 AWS 密钥对。
流程
- 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令: - ssh-keygen -t ed25519 -N '' -f <path>/<file_name> - $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name>- 1 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 指定新 SSH 密钥的路径和文件名,如~/.ssh/id_ed25519。如果您已有密钥对,请确保您的公钥位于~/.ssh目录中。
 注意- 如果您计划在 - x86_64、- ppc64le和- s390x架构上安装使用 RHEL 加密库(这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证)的 OpenShift Container Platform 集群,则不要创建使用- ed25519算法的密钥。相反,创建一个使用- rsa或- ecdsa算法的密钥。
- 查看公共 SSH 密钥: - cat <path>/<file_name>.pub - $ cat <path>/<file_name>.pub- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 例如,运行以下命令来查看 - ~/.ssh/id_ed25519.pub公钥:- cat ~/.ssh/id_ed25519.pub - $ cat ~/.ssh/id_ed25519.pub- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 将 SSH 私钥身份添加到本地用户的 SSH 代理(如果尚未添加)。在集群节点上,或者要使用 - ./openshift-install gather命令,需要对该密钥进行 SSH 代理管理,才能在集群节点上进行免密码 SSH 身份验证。注意- 在某些发行版中,自动管理默认 SSH 私钥身份,如 - ~/.ssh/id_rsa和- ~/.ssh/id_dsa。- 如果 - ssh-agent进程尚未为您的本地用户运行,请将其作为后台任务启动:- eval "$(ssh-agent -s)" - $ eval "$(ssh-agent -s)"- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 输出示例 - Agent pid 31874 - Agent pid 31874- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 注意- 如果集群处于 FIPS 模式,则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。 
 
- 将 SSH 私钥添加到 - ssh-agent:- ssh-add <path>/<file_name> - $ ssh-add <path>/<file_name>- 1 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 指定 SSH 私钥的路径和文件名,如~/.ssh/id_ed25519.pub
 - 输出示例 - Identity added: /home/<you>/<path>/<file_name> (<computer_name>) - Identity added: /home/<you>/<path>/<file_name> (<computer_name>)- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
后续步骤
- 安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。
7.8.4. 获取安装程序
在安装 OpenShift Container Platform 前,将安装文件下载到您用于安装的主机上。
先决条件
- 您有一台运行 Linux 或 macOS 的计算机,本地磁盘空间为 500 MB。
流程
- 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户,请使用您的凭证登录。如果没有,请创建一个帐户。
- 选择您的基础架构供应商。
- 进入到安装类型的页面,下载与您的主机操作系统和架构对应的安装程序,并将该文件放在您要存储安装配置文件的目录中。 重要- 安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后,您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。 重要- 删除安装程序创建的文件不会删除您的集群,即使集群在安装过程中失败也是如此。要删除集群,请为特定云供应商完成 OpenShift Container Platform 卸载流程。 
- 提取安装程序。例如,在使用 Linux 操作系统的计算机上运行以下命令: - tar -xvf openshift-install-linux.tar.gz - $ tar -xvf openshift-install-linux.tar.gz- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证,这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。
7.8.5. 为 GCP 创建安装文件
					要在 Google Cloud Platform (GCP) 上安装 OpenShift Container Platform 到共享 VPC 中,您必须生成 install-config.yaml 文件并进行修改,以便集群使用正确的 VPC 网络、DNS 区域和项目名称。
				
7.8.5.1. 手动创建安装配置文件
安装集群要求您手动创建安装配置文件。
先决条件
- 您在本地机器上有一个 SSH 公钥来提供给安装程序。该密钥将用于在集群节点上进行 SSH 身份验证,以进行调试和灾难恢复。
- 已获取 OpenShift Container Platform 安装程序和集群的 pull secret。
流程
- 创建一个安装目录来存储所需的安装资产: - mkdir <installation_directory> - $ mkdir <installation_directory>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 重要- 您必须创建一个目录。有些安装资产,如 bootstrap X.509 证书的过期间隔较短,因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件,您可以将它们复制到您的目录中。但是,安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。 
- 自定义提供的 - install-config.yaml文件模板示例,并将其保存在- <installation_directory>中。注意- 此配置文件必须命名为 - install-config.yaml。
- 备份 - install-config.yaml文件,以便您可以使用它安装多个集群。重要- install-config.yaml文件会在安装过程的下一步中使用。现在必须备份它。
7.8.5.2. 启用屏蔽虚拟机
您可在安装集群时使用 Shielded 虚拟机。Shielded 虚拟机具有额外的安全功能,包括安全引导、固件和完整性监控和 rootkit 检测。如需更多信息,请参阅 Google 文档中有关 Shielded 虚拟机 的文档。
目前,在具有 64 位 ARM 基础架构的集群中不支持 Shielded 虚拟机。
先决条件
- 
								您已创建了 install-config.yaml文件。
流程
- 在部署集群前,使用文本编辑器编辑 - install-config.yaml文件并添加以下部分之一:- 仅将屏蔽的虚拟机用于 control plane 机器: - controlPlane: platform: gcp: secureBoot: Enabled- controlPlane: platform: gcp: secureBoot: Enabled- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 仅将屏蔽的虚拟机用于计算机器: - compute: - platform: gcp: secureBoot: Enabled- compute: - platform: gcp: secureBoot: Enabled- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 将屏蔽的虚拟机用于所有机器: - platform: gcp: defaultMachinePlatform: secureBoot: Enabled- platform: gcp: defaultMachinePlatform: secureBoot: Enabled- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
 
7.8.5.3. 启用机密虚拟机
您可在安装集群时使用机密虚拟机。机密虚拟机在处理数据时加密数据。如需更多信息,请参阅 Google 文档中有关 机密计算的内容。您可以同时启用机密虚拟机和 Shielded 虚拟机,虽然它们不相互依赖。
64 位 ARM 架构目前不支持机密虚拟机。
先决条件
- 
								您已创建了 install-config.yaml文件。
流程
- 在部署集群前,使用文本编辑器编辑 - install-config.yaml文件并添加以下部分之一:- 仅将机密虚拟机用于 control plane 机器: - controlPlane: platform: gcp: confidentialCompute: Enabled type: n2d-standard-8 onHostMaintenance: Terminate- controlPlane: platform: gcp: confidentialCompute: Enabled- 1 - type: n2d-standard-8- 2 - onHostMaintenance: Terminate- 3 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 启用机密虚拟机。
- 2
- 指定支持机密虚拟机的机器类型。机密虚拟机需要 N2D 或 C2D 系列机器类型。有关支持的机器类型的更多信息,请参阅支持的操作系统和机器类型。
- 3
- 指定主机维护事件期间虚拟机的行为,如硬件或软件更新。对于使用机密虚拟机的机器,此值必须设置为Terminate,这会停止虚拟机。机密虚拟机不支持实时迁移。
 
- 仅将机密虚拟机用于计算机器: - compute: - platform: gcp: confidentialCompute: Enabled type: n2d-standard-8 onHostMaintenance: Terminate- compute: - platform: gcp: confidentialCompute: Enabled type: n2d-standard-8 onHostMaintenance: Terminate- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 将机密虚拟机用于所有机器: - platform: gcp: defaultMachinePlatform: confidentialCompute: Enabled type: n2d-standard-8 onHostMaintenance: Terminate- platform: gcp: defaultMachinePlatform: confidentialCompute: Enabled type: n2d-standard-8 onHostMaintenance: Terminate- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
 
7.8.5.4. 共享 VPC 安装的自定义 install-config.yaml 文件示例
						要使用共享 VPC 在 GCP 上安装 OpenShift Container Platform 时需要一些配置参数。以下是显示这些字段的 install-config.yaml 文件示例。
					
此示例 YAML 文件仅供参考。您必须使用正确的环境和集群值修改此文件。
apiVersion: v1
baseDomain: example.com
credentialsMode: Passthrough 
metadata:
  name: cluster_name
platform:
  gcp:
    computeSubnet: shared-vpc-subnet-1 
    controlPlaneSubnet: shared-vpc-subnet-2 
    network: shared-vpc 
    networkProjectID: host-project-name 
    projectID: service-project-name 
    region: us-east1
    defaultMachinePlatform:
      tags: 
      - global-tag1
controlPlane:
  name: master
  platform:
    gcp:
      tags: 
      - control-plane-tag1
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
  replicas: 3
compute:
- name: worker
  platform:
    gcp:
      tags: 
      - compute-tag1
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
  replicas: 3
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
pullSecret: '{"auths": ...}'
sshKey: ssh-ed25519 AAAA... 
apiVersion: v1
baseDomain: example.com
credentialsMode: Passthrough 
metadata:
  name: cluster_name
platform:
  gcp:
    computeSubnet: shared-vpc-subnet-1 
    controlPlaneSubnet: shared-vpc-subnet-2 
    network: shared-vpc 
    networkProjectID: host-project-name 
    projectID: service-project-name 
    region: us-east1
    defaultMachinePlatform:
      tags: 
      - global-tag1
controlPlane:
  name: master
  platform:
    gcp:
      tags: 
      - control-plane-tag1
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
  replicas: 3
compute:
- name: worker
  platform:
    gcp:
      tags: 
      - compute-tag1
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
  replicas: 3
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
pullSecret: '{"auths": ...}'
sshKey: ssh-ed25519 AAAA... 7.8.5.5. 在安装过程中配置集群范围的代理
						生产环境可能会拒绝直接访问互联网,而是提供 HTTP 或 HTTPS 代理。您可以通过在 install-config.yaml 文件中配置代理设置,将新的 OpenShift Container Platform 集群配置为使用代理。
					
先决条件
- 
								您有一个现有的 install-config.yaml文件。
- 您检查了集群需要访问的站点,并确定它们中的任何站点是否需要绕过代理。默认情况下,所有集群出口流量都经过代理,包括对托管云供应商 API 的调用。如果需要,您将在 - Proxy 对象的- spec.noProxy字段中添加站点来绕过代理。注意- Proxy对象- status.noProxy字段使用安装配置中的- networking.machineNetwork[].cidr、- networking.clusterNetwork[].cidr和- networking.serviceNetwork[]字段的值填充。- 对于在 Amazon Web Services(AWS)、Google Cloud Platform(GCP)、Microsoft Azure 和 Red Hat OpenStack Platform(RHOSP)上安装, - Proxy对象- status.noProxy字段也会使用实例元数据端点填充(- 169.254.169.254)。
流程
- 编辑 - install-config.yaml文件并添加代理设置。例如:- apiVersion: v1 baseDomain: my.domain.com proxy: httpProxy: http://<username>:<pswd>@<ip>:<port> httpsProxy: https://<username>:<pswd>@<ip>:<port> noProxy: example.com additionalTrustBundle: | -----BEGIN CERTIFICATE----- <MY_TRUSTED_CA_CERT> -----END CERTIFICATE----- additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle>- apiVersion: v1 baseDomain: my.domain.com proxy: httpProxy: http://<username>:<pswd>@<ip>:<port>- 1 - httpsProxy: https://<username>:<pswd>@<ip>:<port>- 2 - noProxy: example.com- 3 - additionalTrustBundle: |- 4 - -----BEGIN CERTIFICATE----- <MY_TRUSTED_CA_CERT> -----END CERTIFICATE----- additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle>- 5 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是http。
- 2
- 用于创建集群外 HTTPS 连接的代理 URL。
- 3
- 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上.以仅匹配子域。例如,.y.com匹配x.y.com,但不匹配y.com。使用*绕过所有目的地的代理。
- 4
- 如果提供,安装程序会在openshift-config命名空间中生成名为user-ca-bundle的配置映射,其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后,Cluster Network Operator 会创建trusted-ca-bundle配置映射,将这些内容与 Red Hat Enterprise Linux CoreOS(RHCOS)信任捆绑包合并,Proxy对象的trustedCA字段中也会引用此配置映射。additionalTrustBundle字段是必需的,除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。
- 5
- 可选:决定Proxy对象的配置以引用trustedCA字段中user-ca-bundle配置映射的策略。允许的值是Proxyonly和Always。仅在配置了http/https代理时,使用Proxyonly引用user-ca-bundle配置映射。使用Always始终引用user-ca-bundle配置映射。默认值为Proxyonly。
 注意- 安装程序不支持代理的 - readinessEndpoints字段。注意- 如果安装程序超时,重启并使用安装程序的 - wait-for命令完成部署。例如:- ./openshift-install wait-for install-complete --log-level debug - $ ./openshift-install wait-for install-complete --log-level debug- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 保存该文件并在安装 OpenShift Container Platform 时引用。
						安装程序会创建一个名为 cluster 的集群范围代理,该代理 使用 提供的 install-config.yaml 文件中的代理设置。如果没有提供代理设置,仍然会创建一个 cluster Proxy 对象,但它会有一个空 spec。
					
							只支持名为 cluster 的 Proxy 对象,且无法创建额外的代理。
						
7.8.6. 安装 OpenShift CLI
					您可以安装 OpenShift CLI(oc)来使用命令行界面与 OpenShift Container Platform 进行交互。您可以在 Linux、Windows 或 macOS 上安装 oc。
				
						如果安装了旧版本的 oc,则可能无法使用 OpenShift Container Platform 4.16 中的所有命令。下载并安装新版本的 oc。
					
在 Linux 上安装 OpenShift CLI
					您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc)二进制文件。
				
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 产品变体 下拉列表中选择架构。
- 从 版本 下拉列表中选择适当的版本。
- 点 OpenShift v4.16 Linux Client 条目旁的 Download Now 来保存文件。
- 解包存档: - tar xvf <file> - $ tar xvf <file>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 将 - oc二进制文件放到- PATH 中的目录中。- 要查看您的 - PATH,请执行以下命令:- echo $PATH - $ echo $PATH- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
验证
- 安装 OpenShift CLI 后,可以使用 - oc命令:- oc <command> - $ oc <command>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
在 Windows 上安装 OpenShift CLI
					您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc)二进制文件。
				
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 版本 下拉列表中选择适当的版本。
- 点 OpenShift v4.16 Windows Client 条目旁的 Download Now 来保存文件。
- 使用 ZIP 程序解压存档。
- 将 - oc二进制文件移到- PATH 中的目录中。- 要查看您的 - PATH,请打开命令提示并执行以下命令:- path - C:\> path- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
验证
- 安装 OpenShift CLI 后,可以使用 - oc命令:- oc <command> - C:\> oc <command>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
在 macOS 上安装 OpenShift CLI
					您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc)二进制文件。
				
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 版本 下拉列表中选择适当的版本。
- 点 OpenShift v4.16 macOS Client 条目旁的 Download Now 来保存文件。 注意- 对于 macOS arm64,请选择 OpenShift v4.16 macOS arm64 Client 条目。 
- 解包和解压存档。
- 将 - oc二进制文件移到 PATH 的目录中。- 要查看您的 - PATH,请打开终端并执行以下命令:- echo $PATH - $ echo $PATH- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
验证
- 使用 - oc命令验证安装:- oc <command> - $ oc <command>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
7.8.7. 在 kube-system 项目中存储管理员级别的 secret 的替代方案
					默认情况下,管理员 secret 存储在 kube-system 项目中。如果您在 install-config.yaml 文件中将 credentialsMode 参数配置为 Manual,则必须使用以下替代方案之一:
				
- 要手动管理长期云凭证,请按照手动创建长期凭证中的步骤操作。
- 要实现在集群外为各个组件管理的短期凭证,请按照配置 GCP 集群以使用短期凭证中的步骤操作。
7.8.7.1. 手动创建长期凭证
						在无法访问云身份和访问管理(IAM)API 的环境中,或者管理员更不希望将管理员级别的凭证 secret 存储在集群 kube-system 命名空间中时,可以在安装前将 Cloud Credential Operator(CCO)放入手动模式。
					
流程
- 在安装程序使用的 GCP 帐户中添加以下粒度权限: - 例 7.44. 所需的 GCP 权限 - compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
 
- 如果您没有将 - install-config.yaml配置文件中的- credentialsMode参数设置为- Manual,请修改值,如下所示:- 配置文件片段示例 - apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ... - apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ...- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 如果您之前还没有创建安装清单文件,请运行以下命令: - openshift-install create manifests --dir <installation_directory> - $ openshift-install create manifests --dir <installation_directory>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 其中 - <installation_directory>是安装程序在其中创建文件的目录。
- 运行以下命令,使用安装文件中的发行镜像设置 - $RELEASE_IMAGE变量:- RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 运行以下命令,从 OpenShift Container Platform 发行镜像中提取 - CredentialsRequest自定义资源 (CR) 列表:- oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \ --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \ --to=<path_to_directory_for_credentials_requests> - $ oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \- 1 - --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \- 2 - --to=<path_to_directory_for_credentials_requests>- 3 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 此命令为每个 - CredentialsRequest对象创建一个 YAML 文件。- CredentialsRequest对象示例- apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: GCPProviderSpec predefinedRoles: - roles/storage.admin - roles/iam.serviceAccountUser skipServiceCheck: true ...- apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: GCPProviderSpec predefinedRoles: - roles/storage.admin - roles/iam.serviceAccountUser skipServiceCheck: true ...- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 在之前生成的 - openshift-install清单目录中为 secret 创建 YAML 文件。secret 必须使用在- spec.secretRef中为每个- CredentialsRequest定义的命名空间和 secret 名称存储。- 带有 secret 的 - CredentialsRequest对象示例- apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 ... secretRef: name: <component_secret> namespace: <component_namespace> ...- apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 ... secretRef: name: <component_secret> namespace: <component_namespace> ...- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - Secret对象示例- apiVersion: v1 kind: Secret metadata: name: <component_secret> namespace: <component_namespace> data: service_account.json: <base64_encoded_gcp_service_account_file> - apiVersion: v1 kind: Secret metadata: name: <component_secret> namespace: <component_namespace> data: service_account.json: <base64_encoded_gcp_service_account_file>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
在升级使用手动维护凭证的集群前,您必须确保 CCO 处于可升级状态。
7.8.7.2. 将 GCP 集群配置为使用短期凭证
要安装配置为使用 GCP Workload Identity 的集群,您必须配置 CCO 实用程序并为集群创建所需的 GCP 资源。
7.8.7.2.1. 配置 Cloud Credential Operator 工具
							当 Cloud Credential Operator(CCO)以手动模式运行时,要从集群外部创建和管理云凭证,提取并准备 CCO 实用程序(ccoctl)二进制文件。
						
								ccoctl 工具是在 Linux 环境中运行的 Linux 二进制文件。
							
先决条件
- 您可以访问具有集群管理员权限的 OpenShift Container Platform 帐户。
- 
									已安装 OpenShift CLI(oc)。
- 您已在安装程序使用的 GCP 帐户中添加了以下身份验证选项之一: - IAM Workload Identity Pool Admin 角色。
- 以下粒度权限: - 例 7.45. 所需的 GCP 权限 - compute.projects.get
- iam.googleapis.com/workloadIdentityPoolProviders.create
- iam.googleapis.com/workloadIdentityPoolProviders.get
- iam.googleapis.com/workloadIdentityPools.create
- iam.googleapis.com/workloadIdentityPools.delete
- iam.googleapis.com/workloadIdentityPools.get
- iam.googleapis.com/workloadIdentityPools.undelete
- iam.roles.create
- iam.roles.delete
- iam.roles.list
- iam.roles.undelete
- iam.roles.update
- iam.serviceAccounts.create
- iam.serviceAccounts.delete
- iam.serviceAccounts.getIamPolicy
- iam.serviceAccounts.list
- iam.serviceAccounts.setIamPolicy
- iam.workloadIdentityPoolProviders.get
- iam.workloadIdentityPools.delete
- resourcemanager.projects.get
- resourcemanager.projects.getIamPolicy
- resourcemanager.projects.setIamPolicy
- storage.buckets.create
- storage.buckets.delete
- storage.buckets.get
- storage.buckets.getIamPolicy
- storage.buckets.setIamPolicy
- storage.objects.create
- storage.objects.delete
- storage.objects.list
 
 
流程
- 运行以下命令,为 OpenShift Container Platform 发行镜像设置变量: - RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 运行以下命令,从 OpenShift Container Platform 发行镜像获取 CCO 容器镜像: - CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret) - $ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 注意- 确保 - $RELEASE_IMAGE的架构与将使用- ccoctl工具的环境架构相匹配。
- 运行以下命令,将 CCO 容器镜像中的 - ccoctl二进制文件提取到 OpenShift Container Platform 发行镜像中:- oc image extract $CCO_IMAGE \ --file="/usr/bin/ccoctl.<rhel_version>" \ -a ~/.pull-secret - $ oc image extract $CCO_IMAGE \ --file="/usr/bin/ccoctl.<rhel_version>" \- 1 - -a ~/.pull-secret- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 对于<rhel_version>,请指定与主机使用的 Red Hat Enterprise Linux (RHEL) 版本对应的值。如果没有指定值,则默认使用ccoctl.rhel8。以下值有效:- 
													rhel8: 为使用 RHEL 8 的主机指定这个值。
- 
													rhel9:为使用 RHEL 9 的主机指定这个值。
 
- 
													
 
- 运行以下命令更改权限以使 - ccoctl可执行:- chmod 775 ccoctl.<rhel_version> - $ chmod 775 ccoctl.<rhel_version>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
验证
- 要验证 - ccoctl是否准备就绪,可以尝试显示帮助文件。运行命令时使用相对文件名,例如:- ./ccoctl.rhel9 - $ ./ccoctl.rhel9- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 输出示例 - OpenShift credentials provisioning tool Usage: ccoctl [command] Available Commands: aws Manage credentials objects for AWS cloud azure Manage credentials objects for Azure gcp Manage credentials objects for Google cloud help Help about any command ibmcloud Manage credentials objects for IBM Cloud nutanix Manage credentials objects for Nutanix Flags: -h, --help help for ccoctl Use "ccoctl [command] --help" for more information about a command. - OpenShift credentials provisioning tool Usage: ccoctl [command] Available Commands: aws Manage credentials objects for AWS cloud azure Manage credentials objects for Azure gcp Manage credentials objects for Google cloud help Help about any command ibmcloud Manage credentials objects for IBM Cloud nutanix Manage credentials objects for Nutanix Flags: -h, --help help for ccoctl Use "ccoctl [command] --help" for more information about a command.- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
7.8.7.2.2. 使用 Cloud Credential Operator 实用程序创建 GCP 资源
							您可以使用 ccoctl gcp create-all 命令自动创建 GCP 资源。
						
								默认情况下,ccoctl 在运行命令的目录中创建对象。要在其他目录中创建对象,请使用 --output-dir 标志。此流程使用 <path_to_ccoctl_output_dir> 来引用这个目录。
							
先决条件
您必须:
- 
									提取并准备好 ccoctl二进制文件。
流程
- 运行以下命令,使用安装文件中的发行镜像设置 - $RELEASE_IMAGE变量:- RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 运行以下命令,从 OpenShift Container Platform 发行镜像中提取 - CredentialsRequest对象列表:- oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \ --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \ --to=<path_to_directory_for_credentials_requests> - $ oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \- 1 - --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \- 2 - --to=<path_to_directory_for_credentials_requests>- 3 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 注意- 此命令可能需要一些时间才能运行。 
- 运行以下命令,使用 - ccoctl工具处理所有- CredentialsRequest对象:- ccoctl gcp create-all \ --name=<name> \ --region=<gcp_region> \ --project=<gcp_project_id> \ --credentials-requests-dir=<path_to_credentials_requests_directory> - $ ccoctl gcp create-all \ --name=<name> \- 1 - --region=<gcp_region> \- 2 - --project=<gcp_project_id> \- 3 - --credentials-requests-dir=<path_to_credentials_requests_directory>- 4 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 注意- 如果您的集群使用 - TechPreviewNoUpgrade功能集启用的技术预览功能,则必须包含- --enable-tech-preview参数。
验证
- 要验证 OpenShift Container Platform secret 是否已创建,列出 - <path_to_ccoctl_output_dir>/manifests目录中的文件:- ls <path_to_ccoctl_output_dir>/manifests - $ ls <path_to_ccoctl_output_dir>/manifests- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 输出示例 - cluster-authentication-02-config.yaml openshift-cloud-controller-manager-gcp-ccm-cloud-credentials-credentials.yaml openshift-cloud-credential-operator-cloud-credential-operator-gcp-ro-creds-credentials.yaml openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml openshift-cluster-api-capg-manager-bootstrap-credentials-credentials.yaml openshift-cluster-csi-drivers-gcp-pd-cloud-credentials-credentials.yaml openshift-image-registry-installer-cloud-credentials-credentials.yaml openshift-ingress-operator-cloud-credentials-credentials.yaml openshift-machine-api-gcp-cloud-credentials-credentials.yaml - cluster-authentication-02-config.yaml openshift-cloud-controller-manager-gcp-ccm-cloud-credentials-credentials.yaml openshift-cloud-credential-operator-cloud-credential-operator-gcp-ro-creds-credentials.yaml openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml openshift-cluster-api-capg-manager-bootstrap-credentials-credentials.yaml openshift-cluster-csi-drivers-gcp-pd-cloud-credentials-credentials.yaml openshift-image-registry-installer-cloud-credentials-credentials.yaml openshift-ingress-operator-cloud-credentials-credentials.yaml openshift-machine-api-gcp-cloud-credentials-credentials.yaml- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 您可以通过查询 GCP 来验证是否已创建 IAM 服务帐户。如需更多信息,请参阅有关列出 IAM 服务帐户的 GCP 文档。 
7.8.7.2.3. 整合 Cloud Credential Operator 实用程序清单
							要为单个组件在集群外实现短期安全凭证,您必须将创建 Cloud Credential Operator 实用程序 (ccoctl) 的清单文件移到安装程序的正确目录中。
						
先决条件
- 您已使用托管集群的云平台配置了帐户。
- 
									您已配置了 Cloud Credential Operator 实用程序 (ccoctl)。
- 
									已使用 ccoctl工具创建了集群所需的云供应商资源。
流程
- 在安装程序使用的 GCP 帐户中添加以下粒度权限: - 例 7.46. 所需的 GCP 权限 - compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
 
- 如果您没有将 - install-config.yaml配置文件中的- credentialsMode参数设置为- Manual,请修改值,如下所示:- 配置文件片段示例 - apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ... - apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ...- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 如果您之前还没有创建安装清单文件,请运行以下命令: - openshift-install create manifests --dir <installation_directory> - $ openshift-install create manifests --dir <installation_directory>- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 其中 - <installation_directory>是安装程序在其中创建文件的目录。
- 运行以下命令,将 - ccoctl工具生成的清单复制到安装程序创建的- manifests目录中:- cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/ - $ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 将包含私钥的 - tls目录复制到安装目录中:- cp -a /<path_to_ccoctl_output_dir>/tls . - $ cp -a /<path_to_ccoctl_output_dir>/tls .- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
7.8.8. 部署集群
您可以在兼容云平台上安装 OpenShift Container Platform。
						在初始安装过程中,您只能运行安装程序的 create cluster 命令一次。
					
先决条件
- 您已使用托管集群的云平台配置了帐户。
- 您有 OpenShift Container Platform 安装程序和集群的 pull secret。
- 已确认主机上的云供应商帐户具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示包括缺失权限的错误消息。
流程
- 删除所有不使用您为集群配置的 GCP 帐户的服务帐户密钥的现有 GCP 凭证,这些凭证存储在以下位置: - 
									GOOGLE_CREDENTIALS、GOOGLE_CLOUD_KEYFILE_JSON或GCLOUD_KEYFILE_JSON环境变量
- 
									The ~/.gcp/osServiceAccount.jsonfile
- 
									gcloud cli默认凭证
 
- 
									
- 进入包含安装程序的目录并初始化集群部署: - ./openshift-install create cluster --dir <installation_directory> \ --log-level=info- $ ./openshift-install create cluster --dir <installation_directory> \- 1 - --log-level=info- 2 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
- 可选:您可以减少用来安装集群的服务帐户的权限数量。 - 
									如果将 Owner角色分配给您的服务帐户,您可以删除该角色并将其替换为Viewer角色。
- 
									如果包含 Service Account Key Admin 角色,您可以将其删除。
 
- 
									如果将 
验证
当集群部署成功完成时:
- 
							终端会显示用于访问集群的说明,包括指向 Web 控制台和 kubeadmin用户的凭证的链接。
- 
							凭证信息还会输出到 <installation_directory>/.openshift_install.log.
不要删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。
输出示例
... INFO Install complete! INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig' INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com INFO Login to the console with user: "kubeadmin", and password: "password" INFO Time elapsed: 36m22s
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s- 
								安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外是,您必须手动批准待处理的 node-bootstrapper证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书 中恢复的文档。
- 建议您在 Ignition 配置文件生成后的 12 小时内使用它们,因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件,您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。
7.8.9. 使用 CLI 登录集群
					您可以通过导出集群 kubeconfig 文件,以默认系统用户身份登录集群。kubeconfig 文件包含有关集群的信息,供 CLI 用于将客户端连接到正确的集群和 API 服务器。该文件特定于集群,在 OpenShift Container Platform 安装过程中创建。
				
先决条件
- 已部署 OpenShift Container Platform 集群。
- 
							已安装 ocCLI。
流程
- 导出 - kubeadmin凭证:- export KUBECONFIG=<installation_directory>/auth/kubeconfig - $ export KUBECONFIG=<installation_directory>/auth/kubeconfig- 1 - Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 1
- 对于<installation_directory>,请指定安装文件保存到的目录的路径。
 
- 验证您可以使用导出的配置成功运行 - oc命令:- oc whoami - $ oc whoami- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow - 输出示例 - system:admin - system:admin- Copy to Clipboard Copied! - Toggle word wrap Toggle overflow 
7.8.10. OpenShift Container Platform 的 Telemetry 访问
在 OpenShift Container Platform 4.16 中,默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 OpenShift Cluster Manager。
确认 OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OpenShift Cluster Manager 手动维护,使用订阅监控来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。