在 Azure Stack Hub 上安装

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 RHEL 加密库（这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证）的 OpenShift Container Platform 集群，则不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 进入 Red Hat Hybrid Cloud Console 上的 Cluster Type 页。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 在页的 Run it yourself 部分中选择您的基础架构供应商。
3. 从 OpenShift 安装程序下的下拉菜单中选择您的主机操作系统和架构，然后点下载安装程序。

4. 将下载的文件保存在要存储安装配置文件的目录中。

   重要
   • 安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。删除集群需要这两个文件。
   • 删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

5. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

6. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 产品变体 下拉列表中选择架构。
3. 从 版本 下拉列表中选择适当的版本。
4. 点 OpenShift v4.17 Linux Clients 条目旁的 Download Now 来保存文件。

5. 解包存档：

   $ tar xvf <file>

6. 将 oc 二进制文件放到 PATH 中的目录中。

   要查看您的 PATH，请执行以下命令：

   $ echo $PATH

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。
3. 点 OpenShift v4.17 Windows Client 条目旁的 Download Now 来保存文件。
4. 使用 ZIP 程序解压存档。

5. 将 oc 二进制文件移到 PATH 中的目录中。

   要查看您的 PATH，请打开命令提示并执行以下命令：

   C:\> path

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。

3. 点 OpenShift v4.17 macOS Clients 条目旁的 Download Now 来保存文件。

   注意

   对于 macOS arm64，请选择 OpenShift v4.17 macOS arm64 Client 条目。

4. 解包和解压存档。

5. 将 oc 二进制文件移到 PATH 的目录中。

   要查看您的 PATH，请打开终端并执行以下命令：

   $ echo $PATH

流程

1. 获取 RHCOS VHD 集群镜像：

   1. 将 RHCOS VHD 的 URL 导出为环境变量。

      $ export COMPRESSED_VHD_URL=$(openshift-install coreos print-stream-json | jq -r '.architectures.x86_64.artifacts.azurestack.formats."vhd.gz".disk.location')

   2. 本地下载压缩的 RHCOS VHD 文件。

      $ curl -O -L ${COMPRESSED_VHD_URL}

2. 解压缩 VHD 文件。

   注意

   解压缩的 VHD 文件大约为 16 GB，因此请确保您的主机系统有 16 GB 的可用空间。上传后，可以删除 VHD 文件。

3. 将本地 VHD 上传到 Azure Stack Hub 环境，确保 blob 已公开可用。例如，您可以使用 az cli 或 web 门户将 VHD 上传到 blob。

流程

1. 创建一个安装目录来存储所需的安装资产：

   $ mkdir <installation_directory>

   重要

   您必须创建一个目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

2. 自定义提供的 install-config.yaml 文件模板示例，并将其保存在 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

   进行以下修改：

   1. 指定所需的安装参数。
   2. 更新 platform.azure 部分，以指定特定于 Azure Stack Hub 的参数。

   3. 可选：更新一个或多个默认配置参数以自定义安装。

      有关参数的更多信息，请参阅"安装配置参数"。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步中使用。现在必须备份它。

流程

1. 如果您之前还没有创建安装清单文件，请运行以下命令：

   $ openshift-install create manifests --dir <installation_directory>

   其中 <installation_directory> 是安装程序在其中创建文件的目录。

2. 运行以下命令，使用安装文件中的发行镜像设置 $RELEASE_IMAGE 变量：

   $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

3. 运行以下命令，从 OpenShift Container Platform 发行镜像中提取 CredentialsRequest 自定义资源 (CR) 列表：

   $ oc adm release extract \
     --from=$RELEASE_IMAGE \
     --credentials-requests \
     --included \1
     --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \2
     --to=<path_to_directory_for_credentials_requests> 3

   1

   --included 参数仅包含特定集群配置所需的清单。

   2

   指定 install-config.yaml 文件的位置。

   3

   指定要存储 CredentialsRequest 对象的目录的路径。如果指定的目录不存在，这个命令会创建它。

   此命令为每个 CredentialsRequest 对象创建一个 YAML 文件。

   CredentialsRequest 对象示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AzureProviderSpec
       roleBindings:
       - role: Contributor
     ...

4. 在之前生成的 openshift-install 清单目录中为 secret 创建 YAML 文件。secret 必须使用在 spec.secretRef 中为每个 CredentialsRequest 定义的命名空间和 secret 名称存储。

   带有 secret 的 CredentialsRequest 对象示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AzureProviderSpec
       roleBindings:
       - role: Contributor
         ...
     secretRef:
       name: <component_secret>
       namespace: <component_namespace>
     ...

   Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: <component_secret>
     namespace: <component_namespace>
   data:
     azure_subscription_id: <base64_encoded_azure_subscription_id>
     azure_client_id: <base64_encoded_azure_client_id>
     azure_client_secret: <base64_encoded_azure_client_secret>
     azure_tenant_id: <base64_encoded_azure_tenant_id>
     azure_resource_prefix: <base64_encoded_azure_resource_prefix>
     azure_resourcegroup: <base64_encoded_azure_resourcegroup>
     azure_region: <base64_encoded_azure_region>

流程

1. 从安装程序创建文件的目录中，前往 manifests 目录。

2. 将 user-ca-bundle 添加到 spec.trustedCA.name 字段中。

   cluster-proxy-01-config.yaml 文件示例

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     creationTimestamp: null
     name: cluster
   spec:
     trustedCA:
       name: user-ca-bundle
   status: {}

3. 可选：备份 manifests/ cluster-proxy-01-config.yaml 文件。在部署集群时，安装程序会消耗 manifests/ 目录。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 从安装主机上的 kubeadmin -password 文件中获取 kubeadmin 用户的密码：

   $ cat <installation_directory>/auth/kubeadmin-password

   注意

   另外，您还可以从安装主机上的 <installation_directory>/.openshift_install.log 日志文件获取 kubeadmin 密码。

2. 列出 OpenShift Container Platform Web 控制台路由：

   $ oc get routes -n openshift-console | grep 'console-openshift'

   注意

   另外，您还可以从安装主机上的 <installation_directory>/.openshift_install.log 日志 文件获取 OpenShift Container Platform 路由。

   输出示例

   console     console-openshift-console.apps.<cluster_name>.<base_domain>            console     https   reencrypt/Redirect   None

3. 在 Web 浏览器中导航到上一命令输出中包括的路由，以 kubeadmin 用户身份登录。

流程

1. 获取 RHCOS VHD 集群镜像：

   1. 将 RHCOS VHD 的 URL 导出为环境变量。

      $ export COMPRESSED_VHD_URL=$(openshift-install coreos print-stream-json | jq -r '.architectures.x86_64.artifacts.azurestack.formats."vhd.gz".disk.location')

   2. 本地下载压缩的 RHCOS VHD 文件。

      $ curl -O -L ${COMPRESSED_VHD_URL}

2. 解压缩 VHD 文件。

   注意

   解压缩的 VHD 文件大约为 16 GB，因此请确保您的主机系统有 16 GB 的可用空间。上传后，可以删除 VHD 文件。

3. 将本地 VHD 上传到 Azure Stack Hub 环境，确保 blob 已公开可用。例如，您可以使用 az cli 或 web 门户将 VHD 上传到 blob。

流程

1. 创建一个安装目录来存储所需的安装资产：

   $ mkdir <installation_directory>

   重要

   您必须创建一个目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

2. 自定义提供的 install-config.yaml 文件模板示例，并将其保存在 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

   进行以下修改：

   1. 指定所需的安装参数。
   2. 更新 platform.azure 部分，以指定特定于 Azure Stack Hub 的参数。

   3. 可选：更新一个或多个默认配置参数以自定义安装。

      有关参数的更多信息，请参阅"安装配置参数"。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步中使用。现在必须备份它。

流程

1. 如果您之前还没有创建安装清单文件，请运行以下命令：

   $ openshift-install create manifests --dir <installation_directory>

   其中 <installation_directory> 是安装程序在其中创建文件的目录。

2. 运行以下命令，使用安装文件中的发行镜像设置 $RELEASE_IMAGE 变量：

   $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

3. 运行以下命令，从 OpenShift Container Platform 发行镜像中提取 CredentialsRequest 自定义资源 (CR) 列表：

   $ oc adm release extract \
     --from=$RELEASE_IMAGE \
     --credentials-requests \
     --included \1
     --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \2
     --to=<path_to_directory_for_credentials_requests> 3

   1

   --included 参数仅包含特定集群配置所需的清单。

   2

   指定 install-config.yaml 文件的位置。

   3

   指定要存储 CredentialsRequest 对象的目录的路径。如果指定的目录不存在，这个命令会创建它。

   此命令为每个 CredentialsRequest 对象创建一个 YAML 文件。

   CredentialsRequest 对象示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AzureProviderSpec
       roleBindings:
       - role: Contributor
     ...

4. 在之前生成的 openshift-install 清单目录中为 secret 创建 YAML 文件。secret 必须使用在 spec.secretRef 中为每个 CredentialsRequest 定义的命名空间和 secret 名称存储。

   带有 secret 的 CredentialsRequest 对象示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AzureProviderSpec
       roleBindings:
       - role: Contributor
         ...
     secretRef:
       name: <component_secret>
       namespace: <component_namespace>
     ...

   Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: <component_secret>
     namespace: <component_namespace>
   data:
     azure_subscription_id: <base64_encoded_azure_subscription_id>
     azure_client_id: <base64_encoded_azure_client_id>
     azure_client_secret: <base64_encoded_azure_client_secret>
     azure_tenant_id: <base64_encoded_azure_tenant_id>
     azure_resource_prefix: <base64_encoded_azure_resource_prefix>
     azure_resourcegroup: <base64_encoded_azure_resourcegroup>
     azure_region: <base64_encoded_azure_region>

流程

1. 从安装程序创建文件的目录中，前往 manifests 目录。

2. 将 user-ca-bundle 添加到 spec.trustedCA.name 字段中。

   cluster-proxy-01-config.yaml 文件示例

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     creationTimestamp: null
     name: cluster
   spec:
     trustedCA:
       name: user-ca-bundle
   status: {}

3. 可选：备份 manifests/ cluster-proxy-01-config.yaml 文件。在部署集群时，安装程序会消耗 manifests/ 目录。

流程

1. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   <installation_directory> 指定包含集群的 install-config.yaml 文件的目录名称。

2. 在 <installation_directory>/manifests/ 目录中 为高级网络配置创建一个名为 cluster-network-03-config.yml 的 stub 清单文件：

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:

3. 在 cluster-network-03-config.yml 文件中指定集群的高级网络配置，如下例所示：

   为 OVN-Kubernetes 网络供应商启用 IPsec

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     defaultNetwork:
       ovnKubernetesConfig:
         ipsecConfig:
           mode: Full

4. 可选：备份 manifests/cluster-network-03-config.yml 文件。创建 Ignition 配置文件时，安装程序会使用 manifests/ 目录。

流程

1. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory>

   其中：

   <installation_directory>

   指定包含集群的 install-config.yaml 文件的目录名称。

2. 在 <installation_directory>/manifests/ 目录中 为高级网络配置创建一个名为 cluster-network-03-config.yml 的 stub 清单文件：

   $ cat <<EOF > <installation_directory>/manifests/cluster-network-03-config.yml
   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
   EOF

   其中：

   <installation_directory>

   指定包含集群的 manifests/ 目录的目录名称。

3. 在编辑器中打开 cluster-network-03-config.yml 文件，并使用混合网络配置 OVN-Kubernetes，如下例所示：

   指定混合网络配置

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     defaultNetwork:
       ovnKubernetesConfig:
         hybridOverlayConfig:
           hybridClusterNetwork: 1
           - cidr: 10.132.0.0/14
             hostPrefix: 23
           hybridOverlayVXLANPort: 9898 2

   1

   指定用于额外覆盖网络上节点的 CIDR 配置。hybridClusterNetwork CIDR 不能与 clusterNetwork CIDR 重叠。

   2

   为额外覆盖网络指定自定义 VXLAN 端口。这是在 vSphere 上安装的集群中运行 Windows 节点所需要的，且不得为任何其他云供应商配置。自定义端口可以是除默认 4789 端口外的任何打开的端口。有关此要求的更多信息，请参阅 Microsoft 文档中的 Pod 到主机间的 pod 连接性。

   注意

   Windows Server Long-Term Servicing Channel（LTSC）：Windows Server 2019 在带有自定义 hybridOverlayVXLANPort 值的集群中不被支持，因为这个 Windows server 版本不支持选择使用自定义的 VXLAN 端口。

4. 保存 cluster-network-03-config.yml 文件，再退出文本编辑器。
5. 可选：备份 manifests/cluster-network-03-config.yml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 从安装主机上的 kubeadmin -password 文件中获取 kubeadmin 用户的密码：

   $ cat <installation_directory>/auth/kubeadmin-password

   注意

   另外，您还可以从安装主机上的 <installation_directory>/.openshift_install.log 日志文件获取 kubeadmin 密码。

2. 列出 OpenShift Container Platform Web 控制台路由：

   $ oc get routes -n openshift-console | grep 'console-openshift'

   注意

   另外，您还可以从安装主机上的 <installation_directory>/.openshift_install.log 日志 文件获取 OpenShift Container Platform 路由。

   输出示例

   console     console-openshift-console.apps.<cluster_name>.<base_domain>            console     https   reencrypt/Redirect   None

3. 在 Web 浏览器中导航到上一命令输出中包括的路由，以 kubeadmin 用户身份登录。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 RHEL 加密库（这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证）的 OpenShift Container Platform 集群，则不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 进入 Red Hat Hybrid Cloud Console 上的 Cluster Type 页。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 在页的 Run it yourself 部分中选择您的基础架构供应商。
3. 从 OpenShift 安装程序下的下拉菜单中选择您的主机操作系统和架构，然后点下载安装程序。

4. 将下载的文件保存在要存储安装配置文件的目录中。

   重要
   • 安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。删除集群需要这两个文件。
   • 删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

5. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

6. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 产品变体 下拉列表中选择架构。
3. 从 版本 下拉列表中选择适当的版本。
4. 点 OpenShift v4.17 Linux Clients 条目旁的 Download Now 来保存文件。

5. 解包存档：

   $ tar xvf <file>

6. 将 oc 二进制文件放到 PATH 中的目录中。

   要查看您的 PATH，请执行以下命令：

   $ echo $PATH

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。
3. 点 OpenShift v4.17 Windows Client 条目旁的 Download Now 来保存文件。
4. 使用 ZIP 程序解压存档。

5. 将 oc 二进制文件移到 PATH 中的目录中。

   要查看您的 PATH，请打开命令提示并执行以下命令：

   C:\> path

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。

3. 点 OpenShift v4.17 macOS Clients 条目旁的 Download Now 来保存文件。

   注意

   对于 macOS arm64，请选择 OpenShift v4.17 macOS arm64 Client 条目。

4. 解包和解压存档。

5. 将 oc 二进制文件移到 PATH 的目录中。

   要查看您的 PATH，请打开终端并执行以下命令：

   $ echo $PATH

流程

1. 创建 Azure 存储帐户以存储 VHD 集群镜像：

   $ az storage account create -g ${RESOURCE_GROUP} --location ${AZURE_REGION} --name ${CLUSTER_NAME}sa --kind Storage --sku Standard_LRS

   警告

   Azure 存储帐户名称的长度必须在 3 到 24 个字符之，且只使用数字和小写字母。如果您的 CLUSTER_NAME 变量没有遵循这些限制，您必须手动定义 Azure 存储帐户名称。如需有关 Azure 存储帐户名称限制的更多信息，请参阅 Azure 文档中的解决存储帐户名称的错误。

2. 将存储帐户密钥导出为环境变量：

   $ export ACCOUNT_KEY=`az storage account keys list -g ${RESOURCE_GROUP} --account-name ${CLUSTER_NAME}sa --query "[0].value" -o tsv`

3. 将 RHCOS VHD 的 URL 导出为环境变量：

   $ export COMPRESSED_VHD_URL=$(openshift-install coreos print-stream-json | jq -r '.architectures.x86_64.artifacts.azurestack.formats."vhd.gz".disk.location')

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须指定一个最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

4. 为 VHD 创建存储容器：

   $ az storage container create --name vhd --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY}

5. 在本地下载压缩的 RHCOS VHD 文件：

   $ curl -O -L ${COMPRESSED_VHD_URL}

6. 解压缩 VHD 文件。

   注意

   解压缩的 VHD 文件大约为 16 GB，因此请确保您的主机系统有 16 GB 的可用空间。您可以在上传 VHD 文件后删除该文件。

7. 将本地 VHD 复制为一个 blob:

   $ az storage blob upload --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c vhd -n "rhcos.vhd" -f rhcos-<rhcos_version>-azurestack.x86_64.vhd

8. 创建 blob 存储容器并上传生成的 bootstrap.ign 文件：

   $ az storage container create --name files --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY}

   $ az storage blob upload --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c "files" -f "<installation_directory>/bootstrap.ign" -n "bootstrap.ign"

流程

1. 复制 VNet 的 ARM 模板 一节中的模板，并将它以 01_vnet.json 保存到集群的安装目录中。此模板描述了集群所需的 VNet。

2. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/01_vnet.json" \
     --parameters baseName="${INFRA_ID}"1

   1

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

流程

1. 复制镜像存储的 ARM 模板 部分中的模板，并将它以 02_storage.json 保存到集群的安装目录中。此模板描述了集群所需的镜像存储。

2. 以一个变量的形式将 RHCOS VHD blob URL 导出：

   $ export VHD_BLOB_URL=`az storage blob url --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c vhd -n "rhcos.vhd" -o tsv`

3. 部署集群镜像

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/02_storage.json" \
     --parameters vhdBlobURL="${VHD_BLOB_URL}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters storageAccount="${CLUSTER_NAME}sa" \ 3
     --parameters architecture="<architecture>" 4

   1

   用于创建 master 和 worker 机器的 RHCOS VHD 的 blob URL。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   Azure 存储帐户的名称。

   4

   指定系统架构。有效值为 x64 （默认）或 Arm64。

流程

1. 复制 网络和负载均衡器的 ARM 模板 一节中的模板，并将它以 03_infra.json 保存到集群的安装目录中。此模板描述了集群所需的网络和负载均衡对象。

2. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/03_infra.json" \
     --parameters baseName="${INFRA_ID}"1

   1

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

3. 创建 api DNS 记录和 api-int DNS 记录。在创建 API DNS 记录时，${BASE_DOMAIN_RESOURCE_GROUP} 变量必须指向 DNS 区域存在的资源组。

   1. 导出以下变量：

      $ export PUBLIC_IP=`az network public-ip list -g ${RESOURCE_GROUP} --query "[?name=='${INFRA_ID}-master-pip'] | [0].ipAddress" -o tsv`

   2. 导出以下变量：

      $ export PRIVATE_IP=`az network lb frontend-ip show -g "$RESOURCE_GROUP" --lb-name "${INFRA_ID}-internal" -n internal-lb-ip --query "privateIpAddress" -o tsv`

   3. 在新的 DNS 区域中创建 api DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${CLUSTER_NAME}.${BASE_DOMAIN} -n api -a ${PUBLIC_IP} --ttl 60

      如果要将集群添加到现有 DNS 区域中，您可以在其中创建 api DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n api.${CLUSTER_NAME} -a ${PUBLIC_IP} --ttl 60

   4. 在新的 DNS 区域中创建 api-int DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z "${CLUSTER_NAME}.${BASE_DOMAIN}" -n api-int -a ${PRIVATE_IP} --ttl 60

      如果要将集群添加到现有 DNS 区域中，您可以在其中创建 api-int DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n api-int.${CLUSTER_NAME} -a ${PRIVATE_IP} --ttl 60

流程

1. 复制 bootstrap 机器的 ARM 模板一节中的模板，并将它以 04_bootstrap.json 保存到集群的安装目录中。此模板描述了集群所需的 bootstrap 机器。

2. 导出 bootstrap URL 变量：

   $ bootstrap_url_expiry=`date -u -d "10 hours" '+%Y-%m-%dT%H:%MZ'`

   $ export BOOTSTRAP_URL=`az storage blob generate-sas -c 'files' -n 'bootstrap.ign' --https-only --full-uri --permissions r --expiry $bootstrap_url_expiry --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -o tsv`

3. 导出 bootstrap ignition 变量：

   1. 如果您的环境使用公共证书颁发机构(CA)，请运行以下命令：

      $ export BOOTSTRAP_IGNITION=`jq -rcnM --arg v "3.2.0" --arg url ${BOOTSTRAP_URL} '{ignition:{version:$v,config:{replace:{source:$url}}}}' | base64 | tr -d '\n'`

   2. 如果您的环境使用内部 CA，您必须将 PEM 编码捆绑包添加到 bootstrap ignition stub 中，以便 bootstrap 虚拟机可以从存储帐户中提取 bootstrap ignition。运行以下命令，这假设您的 CA 位于名为 CA.pem 的文件中：

      $ export CA="data:text/plain;charset=utf-8;base64,$(cat CA.pem |base64 |tr -d '\n')"

      $ export BOOTSTRAP_IGNITION=`jq -rcnM --arg v "3.2.0" --arg url "$BOOTSTRAP_URL" --arg cert "$CA" '{ignition:{version:$v,security:{tls:{certificateAuthorities:[{source:$cert}]}},config:{replace:{source:$url}}}}' | base64 | tr -d '\n'`

4. 使用 az CLI 创建部署：

   $ az deployment group create --verbose -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/04_bootstrap.json" \
     --parameters bootstrapIgnition="${BOOTSTRAP_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   bootstrap 集群的 bootstrap Ignition 内容。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 复制 control plane 机器的 ARM 模板 一节中的模板，并将它以 05_masters.json 保存到集群的安装目录中。此模板描述了集群所需的 control plane 机器。

2. 导出 control plane 机器部署所需的以下变量：

   $ export MASTER_IGNITION=`cat <installation_directory>/master.ign | base64 | tr -d '\n'`

3. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/05_masters.json" \
     --parameters masterIgnition="${MASTER_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   control plane 节点的 Ignition 内容（也称为 master 节点）。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 进入包含安装程序的目录并运行以下命令：

   $ ./openshift-install wait-for bootstrap-complete --dir <installation_directory> \ 1
       --log-level info 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   如果命令退出时没有 FATAL 警告，则您的生产环境 control plane 已被初始化。

2. 删除 bootstrap 资源：

   $ az network nsg rule delete -g ${RESOURCE_GROUP} --nsg-name ${INFRA_ID}-nsg --name bootstrap_ssh_in
   $ az vm stop -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap
   $ az vm deallocate -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap
   $ az vm delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap --yes
   $ az disk delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap_OSDisk --no-wait --yes
   $ az network nic delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap-nic --no-wait
   $ az storage blob delete --account-key ${ACCOUNT_KEY} --account-name ${CLUSTER_NAME}sa --container-name files --name bootstrap.ign
   $ az network public-ip delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap-ssh-pip

流程

1. 复制 worker 机器的 ARM 模板一节中的模板，并将它以 06_workers.json 保存到集群的安装目录中。此模板描述了集群所需的 worker 机器。

2. 导出 worker 机器部署所需的以下变量：

   $ export WORKER_IGNITION=`cat <installation_directory>/worker.ign | base64 | tr -d '\n'`

3. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/06_workers.json" \
     --parameters workerIgnition="${WORKER_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   worker 节点的 Ignition 内容。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.30.3
   master-1  Ready     master  63m  v1.30.3
   master-2  Ready     master  64m  v1.30.3

   输出中列出了您创建的所有机器。

   注意

   在有些 CSR 被批准前，前面的输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，在您添加的机器的所有待处理 CSR 都处于 Pending 状态 后，请批准集群机器的 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准它们，证书将会轮转，每个节点会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则后续提供证书续订请求由 machine-approver 自动批准。

   注意

   对于在未启用机器 API 的平台上运行的集群，如裸机和其他用户置备的基础架构，您必须实施一种方法来自动批准 kubelet 提供证书请求(CSR)。如果没有批准请求，则 oc exec、ocrsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。该方法必须监视新的 CSR，确认 CSR 由 system: node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，机器将 处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.30.3
   master-1  Ready     master  73m  v1.30.3
   master-2  Ready     master  74m  v1.30.3
   worker-0  Ready     worker  11m  v1.30.3
   worker-1  Ready     worker  11m  v1.30.3

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器过渡到 Ready 状态。

流程

1. 确认 Ingress 路由器已创建了负载均衡器并填充 EXTERNAL-IP 字段：

   $ oc -n openshift-ingress get service router-default

   输出示例

   NAME             TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
   router-default   LoadBalancer   172.30.20.10   35.130.120.110   80:32288/TCP,443:31215/TCP   20

2. 将 Ingress 路由器 IP 导出为变量：

   $ export PUBLIC_IP_ROUTER=`oc -n openshift-ingress get service router-default --no-headers | awk '{print $4}'`

3. 在 DNS 区域中添加 *.apps 记录。

   1. 如果您要将此集群添加到新的 DNS 区，请运行：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${CLUSTER_NAME}.${BASE_DOMAIN} -n *.apps -a ${PUBLIC_IP_ROUTER} --ttl 300

   2. 如果您要将此集群添加到已存在的 DNS 区中，请运行：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n *.apps.${CLUSTER_NAME} -a ${PUBLIC_IP_ROUTER} --ttl 300