8.9. 在受限网络中的 IBM Cloud 上安装集群
在 OpenShift Container Platform 4.16 中,您可以通过创建安装发行内容的内部镜像在受限网络中的集群,方法是创建一个可访问 IBM Cloud® 上现有 Virtual Private Cloud (VPC) 的安装发行内容的内部镜像。
8.9.1. 先决条件
- 您可以参阅有关 OpenShift Container Platform 安装和更新 流程的详细信息。
- 已将 IBM Cloud 帐户配置为托管集群。
- 您有一个容器镜像 registry,可供互联网和受限网络访问。容器镜像 registry 应该镜像 OpenShift 镜像 registry 的内容,并包含安装介质。如需更多信息,请参阅使用 oc-mirror 插件为断开连接的安装镜像镜像。
在 IBM Cloud® 上有一个满足以下要求的 VPC:
- VPC 包含镜像 registry 或具有防火墙规则或对等连接来访问其他位置托管的镜像 registry。
- VPC 可以使用公共端点访问 IBM Cloud® 服务端点。如果网络限制限制对公共服务端点的访问,请评估这些服务中可能可用的备用端点。如需更多信息,请参阅访问 IBM 服务端点。
默认情况下,您无法使用安装程序置备的 VPC。
如果您计划将端点网关配置为使用 IBM Cloud® Virtual Private Endpoints,请考虑以下要求:
-
端点网关支持目前仅限于
us-east
和us-south
区域。 - VPC 必须允许到端点网关的流量。您可以使用 VPC 的默认安全组或新安全组来允许端口 443 上的流量。如需更多信息,请参阅允许端点网关流量。
-
端点网关支持目前仅限于
- 如果使用防火墙,则会 将其配置为允许集群需要访问的站点。
-
在安装集群前已经配置了
ccoctl
工具。如需更多信息,请参阅为 IBM Cloud VPC 配置 IAM。
8.9.2. 关于在受限网络中安装
在 OpenShift Container Platform 4.16 中,可以执行不需要有效的互联网连接来获取软件组件的安装。受限网络安装可以使用安装程序置备的基础架构或用户置备的基础架构完成,具体取决于您要安装集群的云平台。
8.9.2.1. 所需的互联网访问和安装主机
您可以使用堡垒主机或可移植设备完成安装,该设备可同时访问互联网和您的关闭网络。您必须使用可访问互联网的主机:
-
下载安装程序、OpenShift CLI (
oc
) 和 CCO 实用程序 (ccoctl
)。 - 使用安装程序查找 Red Hat Enterprise Linux CoreOS (RHCOS)镜像并创建安装配置文件。
-
使用
oc
从 CCO 容器镜像中提取ccoctl
。 -
使用
oc
和ccoctl
为 IBM Cloud® 配置 IAM。
8.9.2.2. 访问镜像 registry
要完成受限网络安装,您必须创建一个 registry,以镜像 OpenShift 镜像 registry 的内容并包含安装介质。
您可以在镜像主机上创建此 registry,该主机可同时访问互联网和受限网络,也可以使用满足您机构安全限制的其他方法。
有关为断开连接的安装镜像镜像的更多信息,请参阅"添加资源"。
8.9.2.3. 访问 IBM 服务端点
安装程序需要访问以下 IBM Cloud® 服务端点:
- 云对象存储
- DNS 服务
- 全局搜索
- 全局标记
- 身份服务
- 资源控制器
- 资源管理器
- VPC
如果您要为 IBM Cloud® root 密钥指定 IBM® 密钥作为安装过程的一部分,还需要密钥保护的服务端点。
默认情况下,公共端点用于访问该服务。如果网络限制限制对公共服务端点的访问,您可以覆盖默认行为。
在部署集群前,您可以更新安装配置文件 (install-config.yaml
) 来指定备用服务端点的 URI。有关用法的更多信息,请参阅"附加资源"。
8.9.2.4. 其他限制
受限网络中的集群有以下额外限制和限制:
-
ClusterVersion
状态包含一个Unable to retrieve available updates
错误。 - 默认情况下,您无法使用 Developer Catalog 的内容,因为您无法访问所需的镜像流标签。
8.9.3. 关于使用自定义 VPC
在 OpenShift Container Platform 4.16 中,您可以将集群部署到现有 IBM® Virtual Private Cloud (VPC)的子网。将 OpenShift Container Platform 部署到现有的 VPC 中可帮助您避免新帐户中的限制,或者更容易地利用公司所设置的操作限制。如果您无法获得您自己创建 VPC 所需的基础架构创建权限,请使用这个安装选项。
因为安装程序不知道现有子网中的其他组件,所以无法选择子网 CIDR 等。您必须为安装集群的子网配置网络。
8.9.3.1. 使用 VPC 的要求
您必须在安装集群前正确配置现有的 VPC 及其子网。安装程序不会创建以下组件:
- NAT 网关
- 子网
- 路由表
- VPC 网络
安装程序无法:
- 从属网络范围供集群使用
- 为子网设置路由表
- 设置 VPC 选项,如 DHCP
安装程序要求您使用由云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,并导致安装失败。
8.9.3.2. VPC 验证
VPC 和所有子网都必须位于现有资源组中。集群部署到现有的 VPC 中。
作为安装的一部分,在 install-config.yaml
文件中指定以下内容:
-
包含 VPC 和子网的现有资源组的名称 (
networkResourceGroupName
) -
现有 VPC 的名称(
vpcName
) -
为 control plane 机器和计算机器创建的子网 (
controlPlaneSubnets
和computeSubnets
)
额外的安装程序置备的集群资源被部署到单独的资源组 (resourceGroupName
) 中。您可在安装集群前指定此资源组。如果未定义,则会为集群创建新的资源组。
要确保您提供的子网适合,安装程序会确认以下内容:
- 您指定的所有子网都存在。
对于区域中的每个可用区,您可以指定:
- 一个用于 control plane 机器的子网。
- 计算机器的一个子网。
- 您指定的机器 CIDR 包含计算机器和 control plane 机器的子网。
不支持子网 ID。
8.9.3.3. 集群间隔离
如果您将 OpenShift Container Platform 部署到现有网络中,集群服务的隔离将在以下方面减少:
- 您可以在同一 VPC 中安装多个 OpenShift Container Platform 集群。
- 整个网络允许 ICMP 入站流量。
- 整个网络都允许 TCP 端口 22 入站流量 (SSH)。
- 整个网络都允许 control plane TCP 6443 入站流量 (Kubernetes API)。
- 整个网络都允许 control plane TCP 22623 入站流量 (MCS) 。
8.9.3.4. 允许端点网关流量
如果使用 IBM Cloud® Virtual Private 端点,则必须将您的 Virtual Private Cloud (VPC) 配置为允许到端点网关的流量。
VPC 的默认安全组配置为允许所有出站流量到端点网关。因此,允许 VPC 和端点网关之间的流量的最简单方法是修改默认安全组以允许端口 443 上的入站流量。
如果您选择配置新的安全组,则必须配置安全组以允许入站和出站流量。
先决条件
-
已安装 IBM Cloud® 命令行界面实用程序 (
ibmcloud
)。
流程
运行以下命令,获取默认安全组的标识符:
$ DEFAULT_SG=$(ibmcloud is vpc <your_vpc_name> --output JSON | jq -r '.default_security_group.id')
运行以下命令,添加允许端口 443 上入站流量的规则:
$ ibmcloud is security-group-rule-add $DEFAULT_SG inbound tcp --remote 0.0.0.0/0 --port-min 443 --port-max 443
确保您的端点网关已配置为使用此安全组。
8.9.4. 为集群节点 SSH 访问生成密钥对
在 OpenShift Container Platform 安装过程中,您可以为安装程序提供 SSH 公钥。密钥通过它们的 Ignition 配置文件传递给 Red Hat Enterprise Linux CoreOS(RHCOS)节点,用于验证对节点的 SSH 访问。密钥添加到每个节点上 core
用户的 ~/.ssh/authorized_keys
列表中,这将启用免密码身份验证。
将密钥传递给节点后,您可以使用密钥对作为用户 核心
通过 SSH 连接到 RHCOS 节点。若要通过 SSH 访问节点,必须由 SSH 为您的本地用户管理私钥身份。
如果要通过 SSH 连接到集群节点来执行安装调试或灾难恢复,则必须在安装过程中提供 SSH 公钥。./openshift-install gather
命令还需要在集群节点上设置 SSH 公钥。
不要在生产环境中跳过这个过程,在生产环境中需要灾难恢复和调试。
您必须使用本地密钥,而不是使用特定平台方法配置 的密钥,如 AWS 密钥对。
流程
如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令:
$ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1
- 1
- 指定新 SSH 密钥的路径和文件名,如
~/.ssh/id_ed25519
。如果您已有密钥对,请确保您的公钥位于~/.ssh
目录中。
注意如果您计划在
x86_64
、ppc64le
和s390x
架构上安装使用 RHEL 加密库(这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证)的 OpenShift Container Platform 集群,则不要创建使用ed25519
算法的密钥。相反,创建一个使用rsa
或ecdsa
算法的密钥。查看公共 SSH 密钥:
$ cat <path>/<file_name>.pub
例如,运行以下命令来查看
~/.ssh/id_ed25519.pub
公钥:$ cat ~/.ssh/id_ed25519.pub
将 SSH 私钥身份添加到本地用户的 SSH 代理(如果尚未添加)。在集群节点上,或者要使用
./openshift-install gather
命令,需要对该密钥进行 SSH 代理管理,才能在集群节点上进行免密码 SSH 身份验证。注意在某些发行版中,自动管理默认 SSH 私钥身份,如
~/.ssh/id_rsa
和~/.ssh/id_dsa
。如果
ssh-agent
进程尚未为您的本地用户运行,请将其作为后台任务启动:$ eval "$(ssh-agent -s)"
输出示例
Agent pid 31874
注意如果集群处于 FIPS 模式,则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。
将 SSH 私钥添加到
ssh-agent
:$ ssh-add <path>/<file_name> 1
- 1
- 指定 SSH 私钥的路径和文件名,如
~/.ssh/id_ed25519.pub
输出示例
Identity added: /home/<you>/<path>/<file_name> (<computer_name>)
后续步骤
- 安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。
8.9.5. 导出 API 密钥
您必须将您创建的 API 密钥设置为全局变量;安装程序会在启动期间设置 API 密钥。
先决条件
- 您已为 IBM Cloud® 帐户创建了用户 API 密钥或服务 ID API 密钥。
流程
将帐户的 API 密钥导出为全局变量:
$ export IC_API_KEY=<api_key>
您必须按照指定方式设置变量名称,安装程序需要在启动期间存在变量名称。
8.9.6. 下载 RHCOS 集群镜像
安装程序需要 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像来安装集群。在可选时,在部署前下载 Red Hat Enterprise Linux CoreOS (RHCOS) 会删除创建集群时访问互联网的需要。
使用安装程序查找并下载 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像。
先决条件
- 运行安装程序的主机可以访问互联网。
流程
进入包含安装程序的目录并运行以下命令:
$ ./openshift-install coreos print-stream-json
使用命令的输出来查找 IBM Cloud® 镜像的位置。
.Example output ---- "release": "415.92.202311241643-0", "formats": { "qcow2.gz": { "disk": { "location": "https://rhcos.mirror.openshift.com/art/storage/prod/streams/4.15-9.2/builds/415.92.202311241643-0/x86_64/rhcos-415.92.202311241643-0-ibmcloud.x86_64.qcow2.gz", "sha256": "6b562dee8431bec3b93adeac1cfefcd5e812d41e3b7d78d3e28319870ffc9eae", "uncompressed-sha256": "5a0f9479505e525a30367b6a6a6547c86a8f03136f453c1da035f3aa5daa8bc9" ----
- 下载并提取镜像存档。使镜像在安装程序用来创建集群的主机上可用。
8.9.7. 手动创建安装配置文件
安装集群要求您手动创建安装配置文件。
先决条件
- 已获取 OpenShift Container Platform 安装程序和集群的 pull secret。
-
具有在镜像 registry 时创建的
imageContentSourcePolicy.yaml
文件。 - 您已获取了镜像 registry 的证书内容。
流程
创建一个安装目录来存储所需的安装资产:
$ mkdir <installation_directory>
重要您必须创建一个目录。有些安装资产,如 bootstrap X.509 证书的过期间隔较短,因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件,您可以将它们复制到您的目录中。但是,安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。
自定义提供的
install-config.yaml
文件模板示例,并将其保存在<installation_directory>
中。注意此配置文件必须命名为
install-config.yaml
。在自定义示例模板时,请确定提供在受限网络中安装所需的信息:
更新
pullSecret
值,使其包含 registry 的身份验证信息:pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "you@example.com"}}}'
对于
<mirror_host_name>,请指定
您在镜像 registry 证书中指定的 registry 域名;对于 <credentials>,
请指定您的镜像 registry 的 base64 编码用户名和密码。添加
additionalTrustBundle
参数和值。additionalTrustBundle: | -----BEGIN CERTIFICATE----- ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ -----END CERTIFICATE-----
该值必须是您用于镜像 registry 的证书文件内容。证书文件可以是现有的可信证书颁发机构,也可以是您为镜像 registry 生成的自签名证书。
定义 VPC 的网络和子网,以便在父
platform.ibmcloud
字段下安装集群:vpcName: <existing_vpc> controlPlaneSubnets: <control_plane_subnet> computeSubnets: <compute_subnet>
对于
platform.ibmcloud.vpcName
,请指定现有 IBM Cloud VPC 的名称。对于platform.ibmcloud.controlPlaneSubnets
和platform.ibmcloud.computeSubnets
,请分别指定要分别部署 control plane 机器和计算机器的现有子网。添加镜像内容资源,类似于以下 YAML 摘录:
imageContentSources: - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: quay.io/openshift-release-dev/ocp-release - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: registry.redhat.io/ocp/release
对于这些值,请使用镜像 registry 时创建的
imageContentSourcePolicy.yaml
文件。如果网络限制使用公共端点访问所需的 IBM Cloud® 服务,请将
serviceEndpoints
小节添加到platform.ibmcloud
以指定备用服务端点。注意您只能为每个服务指定一个备用服务端点。
使用备用服务端点的示例
# ... serviceEndpoints: - name: IAM url: <iam_alternate_endpoint_url> - name: VPC url: <vpc_alternate_endpoint_url> - name: ResourceController url: <resource_controller_alternate_endpoint_url> - name: ResourceManager url: <resource_manager_alternate_endpoint_url> - name: DNSServices url: <dns_services_alternate_endpoint_url> - name: COS url: <cos_alternate_endpoint_url> - name: GlobalSearch url: <global_search_alternate_endpoint_url> - name: GlobalTagging url: <global_tagging_alternate_endpoint_url> # ...
可选:将发布策略设置为
Internal
:publish: Internal
通过设置这个选项,您可以创建一个内部 Ingress Controller 和一个私有负载均衡器。
注意如果您使用
External
的默认值,您的网络必须能够访问 IBM Cloud® Internet Services (CIS) 的公共端点。对于虚拟私有端点,未启用 CIS。
备份
install-config.yaml
文件,以便您可以使用它安装多个集群。重要install-config.yaml
文件会在安装过程的下一步中使用。现在必须备份它。
8.9.7.1. 在安装过程中配置集群范围的代理
生产环境可能会拒绝直接访问互联网,而是提供 HTTP 或 HTTPS 代理。您可以通过在 install-config.yaml
文件中配置代理设置,将新的 OpenShift Container Platform 集群配置为使用代理。
先决条件
-
您有一个现有的
install-config.yaml
文件。 您检查了集群需要访问的站点,并确定它们中的任何站点是否需要绕过代理。默认情况下,所有集群出口流量都经过代理,包括对托管云供应商 API 的调用。如果需要,您将在
Proxy 对象的
spec.noProxy
字段中添加站点来绕过代理。注意Proxy
对象status.noProxy
字段使用安装配置中的networking.machineNetwork[].cidr
、networking.clusterNetwork[].cidr
和networking.serviceNetwork[]
字段的值填充。对于在 Amazon Web Services(AWS)、Google Cloud Platform(GCP)、Microsoft Azure 和 Red Hat OpenStack Platform(RHOSP)上安装,
Proxy
对象status.noProxy
字段也会使用实例元数据端点填充(169.254.169.254
)。
流程
编辑
install-config.yaml
文件并添加代理设置。例如:apiVersion: v1 baseDomain: my.domain.com proxy: httpProxy: http://<username>:<pswd>@<ip>:<port> 1 httpsProxy: https://<username>:<pswd>@<ip>:<port> 2 noProxy: example.com 3 additionalTrustBundle: | 4 -----BEGIN CERTIFICATE----- <MY_TRUSTED_CA_CERT> -----END CERTIFICATE----- additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5
- 1
- 用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是
http
。 - 2
- 用于创建集群外 HTTPS 连接的代理 URL。
- 3
- 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上
.
以仅匹配子域。例如,.y.com
匹配x.y.com
,但不匹配y.com
。使用*
绕过所有目的地的代理。 - 4
- 如果提供,安装程序会在
openshift-config
命名空间中生成名为user-ca-bundle
的配置映射,其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后,Cluster Network Operator 会创建trusted-ca-bundle
配置映射,将这些内容与 Red Hat Enterprise Linux CoreOS(RHCOS)信任捆绑包合并,Proxy
对象的trustedCA
字段中也会引用此配置映射。additionalTrustBundle
字段是必需的,除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。 - 5
- 可选:决定
Proxy
对象的配置以引用trustedCA
字段中user-ca-bundle
配置映射的策略。允许的值是Proxyonly
和Always
。仅在配置了http/https
代理时,使用Proxyonly
引用user-ca-bundle
配置映射。使用Always
始终引用user-ca-bundle
配置映射。默认值为Proxyonly
。
注意安装程序不支持代理的
readinessEndpoints
字段。注意如果安装程序超时,重启并使用安装程序的
wait-for
命令完成部署。例如:$ ./openshift-install wait-for install-complete --log-level debug
- 保存该文件并在安装 OpenShift Container Platform 时引用。
安装程序会创建一个名为 cluster 的集群范围代理,该代理 使用
提供的 install-config.yaml
文件中的代理设置。如果没有提供代理设置,仍然会创建一个 cluster
Proxy
对象,但它会有一个空 spec
。
只支持名为 cluster
的 Proxy
对象,且无法创建额外的代理。
其他资源
8.9.7.2. 集群安装的最低资源要求
每台集群机器都必须满足以下最低要求:
机器 | 操作系统 | vCPU | 虚拟内存 | Storage | 每秒输入/输出 (IOPS) |
---|---|---|---|---|---|
bootstrap | RHCOS | 4 | 16 GB | 100 GB | 300 |
Control plane(控制平面) | RHCOS | 4 | 16 GB | 100 GB | 300 |
Compute | RHCOS | 2 | 8 GB | 100 GB | 300 |
从 OpenShift Container Platform 版本 4.13 开始,RHCOS 基于 RHEL 版本 9.2,它更新了微架构要求。以下列表包含每个架构需要的最小指令集架构 (ISA):
- x86-64 体系结构需要 x86-64-v2 ISA
- ARM64 架构需要 ARMv8.0-A ISA
- IBM Power 架构需要 Power 9 ISA
- s390x 架构需要 z14 ISA
如需更多信息,请参阅 RHEL 架构。
如果平台的实例类型满足集群机器的最低要求,则 OpenShift Container Platform 支持使用它。
8.9.7.3. 为 IBM Cloud 测试的实例类型
以下 IBM Cloud® 实例类型已使用 OpenShift Container Platform 测试。
例 8.5. 机器系列
-
c4.*
-
c5.*
-
c5a.*
-
i3.*
-
m4.*
-
m5.*
-
m5a.*
-
m6a.*
-
m6i.*
-
r4.*
-
r5.*
-
r5a.*
-
r6i.*
-
t3.*
-
t3a.*
8.9.7.4. IBM Cloud 的自定义 install-config.yaml 文件示例
您可以自定义 install-config.yaml
文件,以指定有关 OpenShift Container Platform 集群平台的更多详情,或修改所需参数的值。
此示例 YAML 文件仅供参考。您必须使用安装程序来获取 install-config.yaml
文件,然后修改该文件。
apiVersion: v1 baseDomain: example.com 1 controlPlane: 2 3 hyperthreading: Enabled 4 name: master platform: ibm-cloud: {} replicas: 3 compute: 5 6 - hyperthreading: Enabled 7 name: worker platform: ibmcloud: {} replicas: 3 metadata: name: test-cluster 8 networking: clusterNetwork: - cidr: 10.128.0.0/14 9 hostPrefix: 23 machineNetwork: - cidr: 10.0.0.0/16 10 networkType: OVNKubernetes 11 serviceNetwork: - 172.30.0.0/16 platform: ibmcloud: region: us-east 12 resourceGroupName: us-east-example-cluster-rg 13 serviceEndpoints: 14 - name: IAM url: https://private.us-east.iam.cloud.ibm.com - name: VPC url: https://us-east.private.iaas.cloud.ibm.com/v1 - name: ResourceController url: https://private.us-east.resource-controller.cloud.ibm.com - name: ResourceManager url: https://private.us-east.resource-controller.cloud.ibm.com - name: DNSServices url: https://api.private.dns-svcs.cloud.ibm.com/v1 - name: COS url: https://s3.direct.us-east.cloud-object-storage.appdomain.cloud - name: GlobalSearch url: https://api.private.global-search-tagging.cloud.ibm.com - name: GlobalTagging url: https://tags.private.global-search-tagging.cloud.ibm.com networkResourceGroupName: us-east-example-existing-network-rg 15 vpcName: us-east-example-network-1 16 controlPlaneSubnets: 17 - us-east-example-network-1-cp-us-east-1 - us-east-example-network-1-cp-us-east-2 - us-east-example-network-1-cp-us-east-3 computeSubnets: 18 - us-east-example-network-1-compute-us-east-1 - us-east-example-network-1-compute-us-east-2 - us-east-example-network-1-compute-us-east-3 credentialsMode: Manual pullSecret: '{"auths":{"<local_registry>": {"auth": "<credentials>","email": "you@example.com"}}}' 19 fips: false 20 sshKey: ssh-ed25519 AAAA... 21 additionalTrustBundle: | 22 -----BEGIN CERTIFICATE----- <MY_TRUSTED_CA_CERT> -----END CERTIFICATE----- imageContentSources: 23 - mirrors: - <local_registry>/<local_repository_name>/release source: quay.io/openshift-release-dev/ocp-release - mirrors: - <local_registry>/<local_repository_name>/release source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
- 1 8 12
- 必需。
- 2 5
- 如果没有提供这些参数和值,安装程序会提供默认值。
- 3 6
controlPlane
部分是一个单个映射,但compute
部分是一系列映射。为满足不同数据结构的要求,compute
部分的第一行必须以连字符-
开头,controlPlane部分
的第一行则不以连字符开头。仅使用一个 control plane 池。- 4 7
- 启用或禁用并发多线程,也称为 Hyper-Threading。默认情况下,启用并发多线程以提高机器内核的性能。您可以通过将 参数值设置为
Disabled
来禁用它。如果在某些集群机器中禁用并发多线程,则必须在所有集群机器中禁用它。重要如果您禁用并发多线程,请确保您的容量规划考虑机器性能显著降低的情况。如果您禁用并发多线程,请为您的机器使用较大的类型,如
n1-standard-8
。 - 9
- 机器 CIDR 必须包含计算机器和 control plane 机器的子网。
- 10
- CIDR 必须包含
platform.ibmcloud.controlPlaneSubnets
和platform.ibmcloud.computeSubnets
中定义的子网。 - 11
- 要安装的集群网络插件。默认值
OVNKubernetes
是唯一支持的值。 - 13
- 现有资源组的名称。所有安装程序置备的集群资源都部署到此资源组中。如果未定义,则会为集群创建新的资源组。
- 14
- 根据 VPC 的网络限制,根据需要指定备用服务端点。这会覆盖该服务的默认公共端点。
- 15
- 指定包含现有虚拟私有云 (VPC) 的资源组名称。现有的 VPC 和子网应该位于此资源组中。集群将安装到此 VPC 中。
- 16
- 指定现有 VPC 的名称。
- 17
- 指定要部署 control plane 机器的现有子网的名称。子网必须属于您指定的 VPC。为区域中的每个可用区指定一个子网。
- 18
- 指定要部署计算机器的现有子网的名称。子网必须属于您指定的 VPC。为区域中的每个可用区指定一个子网。
- 19
- 对于
<local_registry>
,请指定 registry 域名,以及您的镜像 registry 用来提供内容的可选端口。例如: registry.example.com 或 registry.example.com:5000。对于<credentials>
,请为您的镜像 registry 指定 base64 编码的用户名和密码。 - 20
- 启用或禁用 FIPS 模式。默认情况下不启用 FIPS 模式。如果启用了 FIPS 模式,运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS(RHCOS)机器会绕过默认的 Kubernetes 加密套件,并使用由 RHCOS 提供的加密模块。重要
只有在
x86_64
架构的 OpenShift Container Platform 部署中才支持使用 FIPS 验证或Modules in Process 加密库。 - 21
- 可选:提供用于访问集群中机器的
sshKey
值。 - 22
- 提供用于镜像 registry 的证书文件内容。
- 23
- 从镜像 registry 时创建的
imageContentSourcePolicy.yaml
文件的metadata.name: release-0
部分提供这些值。注意对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群,请指定
ssh-agent
进程使用的 SSH 密钥。
8.9.8. 安装 OpenShift CLI
您可以安装 OpenShift CLI(oc
)来使用命令行界面与 OpenShift Container Platform 进行交互。您可以在 Linux、Windows 或 macOS 上安装 oc
。
如果安装了旧版本的 oc
,则可能无法使用 OpenShift Container Platform 4.16 中的所有命令。下载并安装新版本的 oc
。
在 Linux 上安装 OpenShift CLI
您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc
)二进制文件。
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 产品变体 下拉列表中选择架构。
- 从 版本 下拉列表中选择适当的版本。
- 点 OpenShift v4.16 Linux Client 条目旁的 Download Now 来保存文件。
解包存档:
$ tar xvf <file>
将
oc
二进制文件放到PATH 中的目录中
。要查看您的
PATH
,请执行以下命令:$ echo $PATH
验证
安装 OpenShift CLI 后,可以使用
oc
命令:$ oc <command>
在 Windows 上安装 OpenShift CLI
您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc
)二进制文件。
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 版本 下拉列表中选择适当的版本。
- 点 OpenShift v4.16 Windows Client 条目旁的 Download Now 来保存文件。
- 使用 ZIP 程序解压存档。
将
oc
二进制文件移到PATH 中的目录中
。要查看您的
PATH
,请打开命令提示并执行以下命令:C:\> path
验证
安装 OpenShift CLI 后,可以使用
oc
命令:C:\> oc <command>
在 macOS 上安装 OpenShift CLI
您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc
)二进制文件。
流程
- 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
- 从 版本 下拉列表中选择适当的版本。
点 OpenShift v4.16 macOS Client 条目旁的 Download Now 来保存文件。
注意对于 macOS arm64,请选择 OpenShift v4.16 macOS arm64 Client 条目。
- 解包和解压存档。
将
oc
二进制文件移到 PATH 的目录中。要查看您的
PATH
,请打开终端并执行以下命令:$ echo $PATH
验证
使用
oc
命令验证安装:$ oc <command>
8.9.9. 手动创建 IAM
安装集群需要 Cloud Credential Operator(CCO)以手动模式运行。虽然安装程序为手动模式配置 CCO,但您必须为云供应商指定身份和访问管理 secret。
您可以使用 Cloud Credential Operator (CCO)实用程序(ccoctl
)创建所需的 IBM Cloud® 资源。
先决条件
-
您已配置了
ccoctl
二进制文件。 -
您有一个现有的
install-config.yaml
文件。
流程
编辑
install-config.yaml
配置文件,使其包含将credentialsMode
参数设置为Manual
。install-config.yaml
配置文件示例apiVersion: v1 baseDomain: cluster1.example.com credentialsMode: Manual 1 compute: - architecture: amd64 hyperthreading: Enabled
- 1
- 添加这一行将
credentialsMode
参数设置为Manual
。
要生成清单,请在包含安装程序的目录中运行以下命令:
$ ./openshift-install create manifests --dir <installation_directory>
在包含安装程序的目录中,运行以下命令,使用安装文件中的发行镜像设置
$RELEASE_IMAGE
变量:$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
运行以下命令,从 OpenShift Container Platform 发行镜像中提取
CredentialsRequest
自定义资源 (CR) 列表:$ oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \1 --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \2 --to=<path_to_directory_for_credentials_requests> 3
此命令为每个
CredentialsRequest
对象创建一个 YAML 文件。CredentialsRequest
对象示例apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: labels: controller-tools.k8s.io: "1.0" name: openshift-image-registry-ibmcos namespace: openshift-cloud-credential-operator spec: secretRef: name: installer-cloud-credentials namespace: openshift-image-registry providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: IBMCloudProviderSpec policies: - attributes: - name: serviceName value: cloud-object-storage roles: - crn:v1:bluemix:public:iam::::role:Viewer - crn:v1:bluemix:public:iam::::role:Operator - crn:v1:bluemix:public:iam::::role:Editor - crn:v1:bluemix:public:iam::::serviceRole:Reader - crn:v1:bluemix:public:iam::::serviceRole:Writer - attributes: - name: resourceType value: resource-group roles: - crn:v1:bluemix:public:iam::::role:Viewer
为每个凭证请求创建服务 ID,分配定义的策略、创建 API 密钥并生成 secret:
$ ccoctl ibmcloud create-service-id \ --credentials-requests-dir=<path_to_credential_requests_directory> \1 --name=<cluster_name> \2 --output-dir=<installation_directory> \3 --resource-group-name=<resource_group_name> 4
注意如果您的集群使用
TechPreviewNoUpgrade
功能集启用的技术预览功能,则必须包含--enable-tech-preview
参数。如果提供了不正确的资源组名称,安装会在 bootstrap 阶段失败。要查找正确的资源组名称,请运行以下命令:
$ grep resourceGroupName <installation_directory>/manifests/cluster-infrastructure-02-config.yml
验证
-
确保在集群的
manifests
目录中生成了适当的 secret。
8.9.10. 部署集群
您可以在兼容云平台上安装 OpenShift Container Platform。
在初始安装过程中,您只能运行安装程序的 create cluster
命令一次。
先决条件
- 您已使用托管集群的云平台配置了帐户。
您有 OpenShift Container Platform 安装程序和集群的 pull secret。
如果本地可用的 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像,运行安装程序的主机不需要访问互联网。
- 已确认主机上的云供应商帐户具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示包括缺失权限的错误消息。
流程
运行以下命令,导出
OPENSHIFT_INSTALL_OS_IMAGE_OVERRIDE
变量来指定 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像的位置:$ export OPENSHIFT_INSTALL_OS_IMAGE_OVERRIDE="<path_to_image>/rhcos-<image_version>-ibmcloud.x86_64.qcow2.gz"
进入包含安装程序的目录并初始化集群部署:
$ ./openshift-install create cluster --dir <installation_directory> \ 1 --log-level=info 2
验证
当集群部署成功完成时:
-
终端会显示用于访问集群的说明,包括指向 Web 控制台和
kubeadmin
用户的凭证的链接。 -
凭证信息还会输出到
<installation_directory>/.openshift_install.log
.
不要删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。
输出示例
... INFO Install complete! INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig' INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com INFO Login to the console with user: "kubeadmin", and password: "password" INFO Time elapsed: 36m22s
-
安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外是,您必须手动批准待处理的
node-bootstrapper
证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书 中恢复的文档。 - 建议您在 Ignition 配置文件生成后的 12 小时内使用它们,因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件,您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。
8.9.11. 使用 CLI 登录集群
您可以通过导出集群 kubeconfig
文件,以默认系统用户身份登录集群。kubeconfig
文件包含有关集群的信息,供 CLI 用于将客户端连接到正确的集群和 API 服务器。该文件特定于集群,在 OpenShift Container Platform 安装过程中创建。
先决条件
- 已部署 OpenShift Container Platform 集群。
-
已安装
oc
CLI。
流程
导出
kubeadmin
凭证:$ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
- 1
- 对于
<installation_directory>
,请指定安装文件保存到的目录的路径。
验证您可以使用导出的配置成功运行
oc
命令:$ oc whoami
输出示例
system:admin
其他资源
8.9.12. 安装后
完成以下步骤以完成集群的配置。
8.9.12.1. 禁用默认的 OperatorHub 目录源
在 OpenShift Container Platform 安装过程中,默认为 OperatorHub 配置由红帽和社区项目提供的源内容的 operator 目录。在受限网络环境中,必须以集群管理员身份禁用默认目录。
流程
通过在
OperatorHub
对象中添加disableAllDefaultSources: true 来
禁用默认目录的源:$ oc patch OperatorHub cluster --type json \ -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'
或者,您可以使用 Web 控制台管理目录源。在 Administration
8.9.12.2. 将策略资源安装到集群中
使用 oc-mirror OpenShift CLI (oc) 插件镜像 OpenShift Container Platform 内容会创建资源,其中包括 catalogSource-certified-operator-index.yaml
和 imageContentSourcePolicy.yaml
。
-
ImageContentSourcePolicy
资源将镜像 registry 与源 registry 关联,并将在线 registry 中的镜像拉取请求重定向到镜像 registry。 -
Operator Lifecycle Manager (OLM) 使用
CatalogSource
资源来检索有关镜像 registry 中可用 Operator 的信息,允许用户发现和安装 Operator。
安装集群后,您必须将这些资源安装到集群中。
先决条件
- 您已将镜像设置为断开连接的环境中的 registry 镜像。
-
您可以使用具有
cluster-admin
角色的用户访问集群。
流程
-
以具有
cluster-admin
角色的用户身份登录 OpenShift CLI。 将结果目录中的 YAML 文件应用到集群:
$ oc apply -f ./oc-mirror-workspace/results-<id>/
验证
验证
ImageContentSourcePolicy
资源是否已成功安装:$ oc get imagecontentsourcepolicy
验证
CatalogSource
资源是否已成功安装:$ oc get catalogsource --all-namespaces
8.9.13. OpenShift Container Platform 的 Telemetry 访问
在 OpenShift Container Platform 4.16 中,默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 OpenShift Cluster Manager。
确认 OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OpenShift Cluster Manager 手动维护,使用订阅监控来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。
其他资源