4.2. 使用 ARM 模板在 Azure Stack Hub 上安装集群

流程

1. 注册您的环境：

   $ az cloud register -n AzureStackCloud --endpoint-resource-manager <endpoint> 1

   1

   指定 Azure Resource Manager 端点 'https://management.<region>.<fqdn>/'。

   详情请查看 Microsoft 文档。

2. 设置活跃环境：

   $ az cloud set -n AzureStackCloud

3. 更新您的环境配置，以使用 Azure Stack Hub 的特定 API 版本：

   $ az cloud update --profile 2019-03-01-hybrid

4. 登录 Azure CLI：

   $ az login

   如果您在多租户环境中，还必须提供租户 ID。

5. 如果您的 Azure 帐户使用订阅，请确定您使用正确的订阅：

   1. 查看可用帐户列表并记录您要用于集群的订阅的 tenantId 值：

      $ az account list --refresh

      输出示例

      [
        {
          "cloudName": AzureStackCloud",
          "id": "9bab1460-96d5-40b3-a78e-17b15e978a80",
          "isDefault": true,
          "name": "Subscription Name",
          "state": "Enabled",
          "tenantId": "6057c7e9-b3ae-489d-a54e-de3f6bf6a8ee",
          "user": {
            "name": "you@example.com",
            "type": "user"
          }
        }
      ]

   2. 查看您的活跃帐户详情，确认 tenantId 值与您要使用的订阅匹配：

      $ az account show

      输出示例

      {
        "environmentName": AzureStackCloud",
        "id": "9bab1460-96d5-40b3-a78e-17b15e978a80",
        "isDefault": true,
        "name": "Subscription Name",
        "state": "Enabled",
        "tenantId": "6057c7e9-b3ae-489d-a54e-de3f6bf6a8ee", 1
        "user": {
          "name": "you@example.com",
          "type": "user"
        }
      }

      1

      确保 tenantId 参数的值是正确的订阅 ID。

   3. 如果您使用的订阅不正确，请更改活跃的订阅：

      $ az account set -s <subscription_id> 1

      1

      指定订阅 ID。

   4. 验证订阅 ID 更新：

      $ az account show

      输出示例

      {
        "environmentName": AzureStackCloud",
        "id": "33212d16-bdf6-45cb-b038-f6565b61edda",
        "isDefault": true,
        "name": "Subscription Name",
        "state": "Enabled",
        "tenantId": "8049c7e9-c3de-762d-a54e-dc3f6be6a7ee",
        "user": {
          "name": "you@example.com",
          "type": "user"
        }
      }

6. 记录输出中的 tenantId 和 id 参数值。OpenShift Container Platform 安装过程中需要这些值。

7. 为您的帐户创建服务主体：

   $ az ad sp create-for-rbac --role Contributor --name <service_principal> \ 1
     --scopes /subscriptions/<subscription_id> 2
     --years <years> 3

   1

   指定服务主体名称。

   2

   指定订阅 ID。

   3

   指定年数。默认情况下，服务主体在一年后过期。通过使用 --years 选项，您可以扩展服务主体的有效性。

   输出示例

   Creating 'Contributor' role assignment under scope '/subscriptions/<subscription_id>'
   The output includes credentials that you must protect. Be sure that you do not
   include these credentials in your code or check the credentials into your source
   control. For more information, see https://aka.ms/azadsp-cli
   {
     "appId": "ac461d78-bf4b-4387-ad16-7e32e328aec6",
     "displayName": <service_principal>",
     "password": "00000000-0000-0000-0000-000000000000",
     "tenantId": "8049c7e9-c3de-762d-a54e-dc3f6be6a7ee"
   }

8. 记录前面输出中 appId 和 password 参数的值。OpenShift Container Platform 安装过程中需要这些值。

流程

1. 创建一个安装目录来存储所需的安装资产：

   $ mkdir <installation_directory>

   重要

   您必须创建一个目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

2. 自定义提供的 install-config.yaml 文件模板示例，并将其保存在 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

   对 Azure Stack Hub 进行以下修改：

   1. 将 compute 池的 replicas 参数设置为 0 ：

      compute:
      - hyperthreading: Enabled
        name: worker
        platform: {}
        replicas: 0 1

      1

      设置为 0。

      计算机器将在以后手动调配。

   2. 更新 install-config.yaml 文件的 platform.azure 部分，以配置 Azure Stack Hub 配置：

      platform:
        azure:
          armEndpoint: <azurestack_arm_endpoint> 1
          baseDomainResourceGroupName: <resource_group> 2
          cloudName: AzureStackCloud 3
          region: <azurestack_region> 4

      1

      指定 Azure Stack Hub 环境的 Azure Resource Manager 端点，如 https://management.local.azurestack.external。

      2

      指定包含基域的 DNS 区的资源组的名称。

      3

      指定 Azure Stack Hub 环境，用于使用适当的 Azure API 端点配置 Azure SDK。

      4

      指定 Azure Stack Hub 区域的名称。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步中使用。现在必须备份它。

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 1
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 2
     noProxy: example.com 3
   additionalTrustBundle: | 4
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS（RHCOS）信任捆绑包合并， Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 导出 install-config.yaml 中由提供的 ARM 模板使用的通用变量：

   $ export CLUSTER_NAME=<cluster_name>1
   $ export AZURE_REGION=<azure_region>2
   $ export SSH_KEY=<ssh_key>3
   $ export BASE_DOMAIN=<base_domain>4
   $ export BASE_DOMAIN_RESOURCE_GROUP=<base_domain_resource_group>5

   1

   install-config.yaml 文件中的.metadata.name 属性的值。

   2

   集群要部署到的区域。这是来自 install-config.yaml 文件中的 .platform.azure.region 属性的值。

   3

   作为字符串的 SSH RSA 公钥文件。您必须使用引号包括 SSH 密钥，因为它包含空格。这是来自 install-config.yaml 文件中的 .sshKey 属性的值。

   4

   集群要部署到的基域。基域与您为集群创建的 DNS 区域对应。这是来自 install-config.yaml 文件中的 .baseDomain 属性的值。

   5

   存在 DNS 区的资源组。这是来自 install-config.yaml 文件中的 .platform.azure.baseDomainResourceGroupName 属性的值。

   例如：

   $ export CLUSTER_NAME=test-cluster
   $ export AZURE_REGION=centralus
   $ export SSH_KEY="ssh-rsa xxx/xxx/xxx= user@email.com"
   $ export BASE_DOMAIN=example.com
   $ export BASE_DOMAIN_RESOURCE_GROUP=ocp-cluster

2. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

流程

1. 进入包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定包含您创建的 install-config.yaml 文件的安装目录。

2. 删除定义 control plane 机器的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_master-machines-*.yaml

   通过删除这些文件，您可以防止集群自动生成 control plane 机器。

3. 删除定义 control plane 机器集的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-machine-api_master-control-plane-machine-set.yaml

4. 删除定义 worker 机器的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   重要

   如果在用户置备的基础架构上安装集群时禁用了 MachineAPI 功能，则必须删除定义 worker 机器的 Kubernetes 清单文件。否则，集群将无法安装。

   由于您要自行创建和管理 worker 机器，因此不需要初始化这些机器。

5. 检查 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中的 mastersSchedulable 参数是否已设置为 false。此设置可防止在 control plane 机器上调度 pod：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并确保它被设置为 false。
   3. 保存并退出 文件。

6. 可选：如果您不希望 Ingress Operator 代表您创建 DNS 记录，请删除 <installation_directory>/manifests/cluster-dns-02-config.yml DNS 配置文件中的 privateZone 和 publicZone 部分：

   apiVersion: config.openshift.io/v1
   kind: DNS
   metadata:
     creationTimestamp: null
     name: cluster
   spec:
     baseDomain: example.openshift.com
     privateZone: 1
       id: mycluster-100419-private-zone
     publicZone: 2
       id: example.openshift.com
   status: {}

   1 2

   完全删除此部分。

   如果您这样做，后续步骤中必须手动添加入口 DNS 记录。

7. 可选： 如果您的 Azure Stack Hub 环境使用内部证书颁发机构(CA)，您必须更新 <installation_directory>/manifests/cluster-proxy-01-config.yaml 文件中的 .spec.trustedCA.name 字段来使用 user-ca-bundle：

   ...
   spec:
     trustedCA:
       name: user-ca-bundle
   ...

   之后，您必须更新 bootstrap ignition 使其包含 CA。

8. 在用户置备的基础架构上配置 Azure 时，您必须导出清单文件中定义的一些常见变量，以备稍后在 Azure Resource Manager（ARM）模板中使用：

   1. 使用以下命令导出基础架构 ID:

      $ export INFRA_ID=<infra_id> 1

      1

      OpenShift Container Platform 集群被分配了一个标识符（INFRA_ID），其格式为 <cluster_name>-<random_string>。这将作为使用提供的 ARM 模板创建的大部分资源的基本名称。这是来自 manifests/cluster-infrastructure-02-config.yml 文件中的 .status.infrastructureName 属性的值。

   2. 使用以下命令导出资源组：

      $ export RESOURCE_GROUP=<resource_group> 1

      1

      此 Azure 部署中创建的所有资源都作为资源组的一部分。资源组名称还基于 INFRA_ID，格式为 <cluster_name>-<random_string>-rg。这是来自 manifests/cluster-infrastructure-02-config.yml 文件中的 .status.platformStatus.azure.resourceGroupName 属性的值。

9. 手动创建云凭证。

   1. 从包含安装程序的目录中，获取 openshift-install 二进制文件要使用的 OpenShift Container Platform 发行镜像详情：

      $ openshift-install version

      输出示例

      release image quay.io/openshift-release-dev/ocp-release:4.y.z-x86_64

   2. 运行以下命令，使用安装文件中的发行镜像设置 $RELEASE_IMAGE 变量：

      $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

   3. 运行以下命令，从 OpenShift Container Platform 发行镜像中提取 CredentialsRequest 自定义资源 (CR) 列表：

      $ oc adm release extract \
        --from=$RELEASE_IMAGE \
        --credentials-requests \
        --included \1
        --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \2
        --to=<path_to_directory_for_credentials_requests> 3

      1

      --included 参数仅包含特定集群配置所需的清单。

      2

      指定 install-config.yaml 文件的位置。

      3

      指定要存储 CredentialsRequest 对象的目录的路径。如果指定的目录不存在，这个命令会创建它。

      此命令为每个 CredentialsRequest 对象创建一个 YAML 文件。

      CredentialsRequest 对象示例

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        labels:
          controller-tools.k8s.io: "1.0"
        name: openshift-image-registry-azure
        namespace: openshift-cloud-credential-operator
      spec:
        secretRef:
          name: installer-cloud-credentials
          namespace: openshift-image-registry
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AzureProviderSpec
          roleBindings:
          - role: Contributor

   4. 在之前生成的 openshift-install 清单目录中为 secret 创建 YAML 文件。secret 必须使用在 spec.secretRef 中为每个 CredentialsRequest 定义的命名空间和 secret 名称存储。secret 数据的格式因云供应商而异。

      secrets.yaml 文件示例

      apiVersion: v1
      kind: Secret
      metadata:
          name: ${secret_name}
          namespace: ${secret_namespace}
      stringData:
        azure_subscription_id: ${subscription_id}
        azure_client_id: ${app_id}
        azure_client_secret: ${client_secret}
        azure_tenant_id: ${tenant_id}
        azure_resource_prefix: ${cluster_name}
        azure_resourcegroup: ${resource_group}
        azure_region: ${azure_region}

   5. 在 manifests 目录中创建一个 cco-configmap.yaml 文件，并禁用 Cloud Credential Operator (CCO)：

      ConfigMap 对象示例

      apiVersion: v1
      kind: ConfigMap
      metadata:
      name: cloud-credential-operator-config
      namespace: openshift-cloud-credential-operator
        annotations:
          release.openshift.io/create-only: "true"
      data:
        disabled: "true"

10. 要创建 Ignition 配置文件，从包含安装程序的目录运行以下命令：

    $ ./openshift-install create ignition-configs --dir <installation_directory> 1

    1

    对于 <installation_directory>，请指定相同的安装目录。

    为安装目录中的 bootstrap、control plane 和计算节点创建 Ignition 配置文件。kubeadmin-password 和 kubeconfig 文件在 ./<installation_directory>/auth 目录中创建：

    .
    ├── auth
    │   ├── kubeadmin-password
    │   └── kubeconfig
    ├── bootstrap.ign
    ├── master.ign
    ├── metadata.json
    └── worker.ign

流程

1. 创建存放 OpenShift Container Platform 安装文件的目录：

   $ mkdir $HOME/clusterconfig

2. 运行 openshift-install，以在 manifest 和 openshift 子目录中创建一组文件。在系统提示时回答系统问题：

   $ openshift-install create manifests --dir $HOME/clusterconfig

   输出示例

   ? SSH Public Key ...
   INFO Credentials loaded from the "myprofile" profile in file "/home/myuser/.aws/credentials"
   INFO Consuming Install Config from target directory
   INFO Manifests created in: $HOME/clusterconfig/manifests and $HOME/clusterconfig/openshift

3. 可选：确认安装程序在 clusterconfig/openshift 目录中创建了清单：

   $ ls $HOME/clusterconfig/openshift/

   输出示例

   99_kubeadmin-password-secret.yaml
   99_openshift-cluster-api_master-machines-0.yaml
   99_openshift-cluster-api_master-machines-1.yaml
   99_openshift-cluster-api_master-machines-2.yaml
   ...

4. 创建用于配置额外分区的 Butane 配置。例如，将文件命名为 $HOME/clusterconfig/98-var-partition.bu，将磁盘设备名称改为 worker 系统上存储设备的名称，并根据情况设置存储大小。这个示例将 /var 目录放在一个单独的分区中：

   variant: openshift
   version: 4.17.0
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 98-var-partition
   storage:
     disks:
     - device: /dev/disk/by-id/<device_name> 1
       partitions:
       - label: var
         start_mib: <partition_start_offset> 2
         size_mib: <partition_size> 3
         number: 5
     filesystems:
       - device: /dev/disk/by-partlabel/var
         path: /var
         format: xfs
         mount_options: [defaults, prjquota] 4
         with_mount_unit: true

   1

   要分区的磁盘的存储设备名称。

   2

   在引导磁盘中添加数据分区时，推荐最少使用 25000 MiB(Mebibytes)。root 文件系统会自动调整大小以填充所有可用空间（最多到指定的偏移值）。如果没有指定值，或者指定的值小于推荐的最小值，则生成的 root 文件系统会太小，而在以后进行的 RHCOS 重新安装可能会覆盖数据分区的开始部分。

   3

   以兆字节为单位的数据分区大小。

   4

   对于用于容器存储的文件系统，必须启用 prjquota 挂载选项。

   注意

   当创建单独的 /var 分区时，如果不同的实例类型没有相同的设备名称，则无法为 worker 节点使用不同的实例类型。

5. 从 Butane 配置创建一个清单，并将它保存到 clusterconfig/openshift 目录中。例如，运行以下命令：

   $ butane $HOME/clusterconfig/98-var-partition.bu -o $HOME/clusterconfig/openshift/98-var-partition.yaml

6. 再次运行 openshift-install，从 manifest 和 openshift 子目录中的一组文件创建 Ignition 配置：

   $ openshift-install create ignition-configs --dir $HOME/clusterconfig
   $ ls $HOME/clusterconfig/
   auth  bootstrap.ign  master.ign  metadata.json  worker.ign