8.5. 使用 ARM 模板在 Azure Stack Hub 上安装集群

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择 Azure 作为云供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 RHEL 加密库（这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证）的 OpenShift Container Platform 集群，则不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 创建 Azure 存储帐户以存储 VHD 集群镜像：

   $ az storage account create -g ${RESOURCE_GROUP} --location ${AZURE_REGION} --name ${CLUSTER_NAME}sa --kind Storage --sku Standard_LRS

   警告

   Azure 存储帐户名称的长度必须在 3 到 24 个字符之，且只使用数字和小写字母。如果您的 CLUSTER_NAME 变量没有遵循这些限制，您必须手动定义 Azure 存储帐户名称。如需有关 Azure 存储帐户名称限制的更多信息，请参阅 Azure 文档中的解决存储帐户名称的错误。

2. 将存储帐户密钥导出为环境变量：

   $ export ACCOUNT_KEY=`az storage account keys list -g ${RESOURCE_GROUP} --account-name ${CLUSTER_NAME}sa --query "[0].value" -o tsv`

3. 将 RHCOS VHD 的 URL 导出为环境变量：

   $ export COMPRESSED_VHD_URL=$(openshift-install coreos print-stream-json | jq -r '.architectures.x86_64.artifacts.azurestack.formats."vhd.gz".disk.location')

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须指定一个最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

4. 为 VHD 创建存储容器：

   $ az storage container create --name vhd --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY}

5. 在本地下载压缩的 RHCOS VHD 文件：

   $ curl -O -L ${COMPRESSED_VHD_URL}

6. 解压缩 VHD 文件。

   注意

   解压缩的 VHD 文件大约为 16 GB，因此请确保您的主机系统有 16 GB 的可用空间。您可以在上传 VHD 文件后删除该文件。

7. 将本地 VHD 复制为一个 blob:

   $ az storage blob upload --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c vhd -n "rhcos.vhd" -f rhcos-<rhcos_version>-azurestack.x86_64.vhd

8. 创建 blob 存储容器并上传生成的 bootstrap.ign 文件：

   $ az storage container create --name files --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY}

   $ az storage blob upload --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c "files" -f "<installation_directory>/bootstrap.ign" -n "bootstrap.ign"

流程

1. 复制 VNet 的 ARM 模板 一节中的模板，并将它以 01_vnet.json 保存到集群的安装目录中。此模板描述了集群所需的 VNet。

2. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/01_vnet.json" \
     --parameters baseName="${INFRA_ID}"1

   1

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

流程

1. 复制镜像存储的 ARM 模板 部分中的模板，并将它以 02_storage.json 保存到集群的安装目录中。此模板描述了集群所需的镜像存储。

2. 以一个变量的形式将 RHCOS VHD blob URL 导出：

   $ export VHD_BLOB_URL=`az storage blob url --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -c vhd -n "rhcos.vhd" -o tsv`

3. 部署集群镜像

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/02_storage.json" \
     --parameters vhdBlobURL="${VHD_BLOB_URL}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters storageAccount="${CLUSTER_NAME}sa" \ 3
     --parameters architecture="<architecture>" 4

   1

   用于创建 master 和 worker 机器的 RHCOS VHD 的 blob URL。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   Azure 存储帐户的名称。

   4

   指定系统架构。有效值为 x64 （默认）或 Arm64。

流程

1. 复制 网络和负载均衡器的 ARM 模板 一节中的模板，并将它以 03_infra.json 保存到集群的安装目录中。此模板描述了集群所需的网络和负载均衡对象。

2. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/03_infra.json" \
     --parameters baseName="${INFRA_ID}"1

   1

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

3. 创建 api DNS 记录和 api-int DNS 记录。在创建 API DNS 记录时，${BASE_DOMAIN_RESOURCE_GROUP} 变量必须指向 DNS 区域存在的资源组。

   1. 导出以下变量：

      $ export PUBLIC_IP=`az network public-ip list -g ${RESOURCE_GROUP} --query "[?name=='${INFRA_ID}-master-pip'] | [0].ipAddress" -o tsv`

   2. 导出以下变量：

      $ export PRIVATE_IP=`az network lb frontend-ip show -g "$RESOURCE_GROUP" --lb-name "${INFRA_ID}-internal" -n internal-lb-ip --query "privateIpAddress" -o tsv`

   3. 在新的 DNS 区域中创建 api DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${CLUSTER_NAME}.${BASE_DOMAIN} -n api -a ${PUBLIC_IP} --ttl 60

      如果要将集群添加到现有 DNS 区域中，您可以在其中创建 api DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n api.${CLUSTER_NAME} -a ${PUBLIC_IP} --ttl 60

   4. 在新的 DNS 区域中创建 api-int DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z "${CLUSTER_NAME}.${BASE_DOMAIN}" -n api-int -a ${PRIVATE_IP} --ttl 60

      如果要将集群添加到现有 DNS 区域中，您可以在其中创建 api-int DNS 记录：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n api-int.${CLUSTER_NAME} -a ${PRIVATE_IP} --ttl 60

流程

1. 复制 bootstrap 机器的 ARM 模板一节中的模板，并将它以 04_bootstrap.json 保存到集群的安装目录中。此模板描述了集群所需的 bootstrap 机器。

2. 导出 bootstrap URL 变量：

   $ bootstrap_url_expiry=`date -u -d "10 hours" '+%Y-%m-%dT%H:%MZ'`

   $ export BOOTSTRAP_URL=`az storage blob generate-sas -c 'files' -n 'bootstrap.ign' --https-only --full-uri --permissions r --expiry $bootstrap_url_expiry --account-name ${CLUSTER_NAME}sa --account-key ${ACCOUNT_KEY} -o tsv`

3. 导出 bootstrap ignition 变量：

   1. 如果您的环境使用公共证书颁发机构(CA)，请运行以下命令：

      $ export BOOTSTRAP_IGNITION=`jq -rcnM --arg v "3.2.0" --arg url ${BOOTSTRAP_URL} '{ignition:{version:$v,config:{replace:{source:$url}}}}' | base64 | tr -d '\n'`

   2. 如果您的环境使用内部 CA，您必须将 PEM 编码捆绑包添加到 bootstrap ignition stub 中，以便 bootstrap 虚拟机可以从存储帐户中提取 bootstrap ignition。运行以下命令，这假设您的 CA 位于名为 CA.pem 的文件中：

      $ export CA="data:text/plain;charset=utf-8;base64,$(cat CA.pem |base64 |tr -d '\n')"

      $ export BOOTSTRAP_IGNITION=`jq -rcnM --arg v "3.2.0" --arg url "$BOOTSTRAP_URL" --arg cert "$CA" '{ignition:{version:$v,security:{tls:{certificateAuthorities:[{source:$cert}]}},config:{replace:{source:$url}}}}' | base64 | tr -d '\n'`

4. 使用 az CLI 创建部署：

   $ az deployment group create --verbose -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/04_bootstrap.json" \
     --parameters bootstrapIgnition="${BOOTSTRAP_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   bootstrap 集群的 bootstrap Ignition 内容。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 复制 control plane 机器的 ARM 模板 一节中的模板，并将它以 05_masters.json 保存到集群的安装目录中。此模板描述了集群所需的 control plane 机器。

2. 导出 control plane 机器部署所需的以下变量：

   $ export MASTER_IGNITION=`cat <installation_directory>/master.ign | base64 | tr -d '\n'`

3. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/05_masters.json" \
     --parameters masterIgnition="${MASTER_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" \ 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   control plane 节点的 Ignition 内容（也称为 master 节点）。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 进入包含安装程序的目录并运行以下命令：

   $ ./openshift-install wait-for bootstrap-complete --dir <installation_directory> \ 1
       --log-level info 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   如果命令退出时没有 FATAL 警告，则您的生产环境 control plane 已被初始化。

2. 删除 bootstrap 资源：

   $ az network nsg rule delete -g ${RESOURCE_GROUP} --nsg-name ${INFRA_ID}-nsg --name bootstrap_ssh_in
   $ az vm stop -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap
   $ az vm deallocate -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap
   $ az vm delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap --yes
   $ az disk delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap_OSDisk --no-wait --yes
   $ az network nic delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap-nic --no-wait
   $ az storage blob delete --account-key ${ACCOUNT_KEY} --account-name ${CLUSTER_NAME}sa --container-name files --name bootstrap.ign
   $ az network public-ip delete -g ${RESOURCE_GROUP} --name ${INFRA_ID}-bootstrap-ssh-pip

流程

1. 复制 worker 机器的 ARM 模板一节中的模板，并将它以 06_workers.json 保存到集群的安装目录中。此模板描述了集群所需的 worker 机器。

2. 导出 worker 机器部署所需的以下变量：

   $ export WORKER_IGNITION=`cat <installation_directory>/worker.ign | base64 | tr -d '\n'`

3. 使用 az CLI 创建部署：

   $ az deployment group create -g ${RESOURCE_GROUP} \
     --template-file "<installation_directory>/06_workers.json" \
     --parameters workerIgnition="${WORKER_IGNITION}" \ 1
     --parameters baseName="${INFRA_ID}" 2
     --parameters diagnosticsStorageAccountName="${CLUSTER_NAME}sa" 3

   1

   worker 节点的 Ignition 内容。

   2

   资源名称使用的基本名称 ; 这通常是集群的基础架构 ID。

   3

   集群的存储帐户的名称。

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 产品变体 下拉列表中选择架构。
3. 从 版本 下拉列表中选择适当的版本。
4. 点 OpenShift v4.16 Linux Client 条目旁的 Download Now 来保存文件。

5. 解包存档：

   $ tar xvf <file>

6. 将 oc 二进制文件放到 PATH 中的目录中。

   要查看您的 PATH，请执行以下命令：

   $ echo $PATH

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。
3. 点 OpenShift v4.16 Windows Client 条目旁的 Download Now 来保存文件。
4. 使用 ZIP 程序解压存档。

5. 将 oc 二进制文件移到 PATH 中的目录中。

   要查看您的 PATH，请打开命令提示并执行以下命令：

   C:\> path

流程

1. 导航到红帽客户门户网站上的 OpenShift Container Platform 下载页面。
2. 从 版本 下拉列表中选择适当的版本。

3. 点 OpenShift v4.16 macOS Client 条目旁的 Download Now 来保存文件。

   注意

   对于 macOS arm64，请选择 OpenShift v4.16 macOS arm64 Client 条目。

4. 解包和解压存档。

5. 将 oc 二进制文件移到 PATH 的目录中。

   要查看您的 PATH，请打开终端并执行以下命令：

   $ echo $PATH

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.29.4
   master-1  Ready     master  63m  v1.29.4
   master-2  Ready     master  64m  v1.29.4

   输出中列出了您创建的所有机器。

   注意

   在有些 CSR 被批准前，前面的输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，在您添加的机器的所有待处理 CSR 都处于 Pending 状态 后，请批准集群机器的 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准它们，证书将会轮转，每个节点会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则后续提供证书续订请求由 machine-approver 自动批准。

   注意

   对于在未启用机器 API 的平台上运行的集群，如裸机和其他用户置备的基础架构，您必须实施一种方法来自动批准 kubelet 提供证书请求(CSR)。如果没有批准请求，则 oc exec、ocrsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。该方法必须监视新的 CSR，确认 CSR 由 system: node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，机器将 处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.29.4
   master-1  Ready     master  73m  v1.29.4
   master-2  Ready     master  74m  v1.29.4
   worker-0  Ready     worker  11m  v1.29.4
   worker-1  Ready     worker  11m  v1.29.4

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器过渡到 Ready 状态。

流程

1. 确认 Ingress 路由器已创建了负载均衡器并填充 EXTERNAL-IP 字段：

   $ oc -n openshift-ingress get service router-default

   输出示例

   NAME             TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
   router-default   LoadBalancer   172.30.20.10   35.130.120.110   80:32288/TCP,443:31215/TCP   20

2. 将 Ingress 路由器 IP 导出为变量：

   $ export PUBLIC_IP_ROUTER=`oc -n openshift-ingress get service router-default --no-headers | awk '{print $4}'`

3. 在 DNS 区域中添加 *.apps 记录。

   1. 如果您要将此集群添加到新的 DNS 区，请运行：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${CLUSTER_NAME}.${BASE_DOMAIN} -n *.apps -a ${PUBLIC_IP_ROUTER} --ttl 300

   2. 如果您要将此集群添加到已存在的 DNS 区中，请运行：

      $ az network dns record-set a add-record -g ${BASE_DOMAIN_RESOURCE_GROUP} -z ${BASE_DOMAIN} -n *.apps.${CLUSTER_NAME} -a ${PUBLIC_IP_ROUTER} --ttl 300