10.5. 创建用于 Azure 的安装文件

流程

1. 创建存放 OpenShift Container Platform 安装文件的目录：

   $ mkdir $HOME/clusterconfig

   Copy to Clipboard Toggle word wrap

2. 运行 openshift-install，以在 manifest 和 openshift 子目录中创建一组文件。在系统提示时回答系统问题：

   $ openshift-install create manifests --dir $HOME/clusterconfig

   Copy to Clipboard Toggle word wrap

   输出示例

   ? SSH Public Key ...
   INFO Credentials loaded from the "myprofile" profile in file "/home/myuser/.aws/credentials"
   INFO Consuming Install Config from target directory
   INFO Manifests created in: $HOME/clusterconfig/manifests and $HOME/clusterconfig/openshift

   Copy to Clipboard Toggle word wrap

3. 可选：确认安装程序在 clusterconfig/openshift 目录中创建了清单：

   $ ls $HOME/clusterconfig/openshift/

   Copy to Clipboard Toggle word wrap

   输出示例

   99_kubeadmin-password-secret.yaml
   99_openshift-cluster-api_master-machines-0.yaml
   99_openshift-cluster-api_master-machines-1.yaml
   99_openshift-cluster-api_master-machines-2.yaml
   ...

   Copy to Clipboard Toggle word wrap

4. 创建用于配置额外分区的 Butane 配置。例如，将文件命名为 $HOME/clusterconfig/98-var-partition.bu，将磁盘设备名称改为 worker 系统上存储设备的名称，并根据情况设置存储大小。这个示例将 /var 目录放在一个单独的分区中：

   variant: openshift
   version: 4.14.0
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 98-var-partition
   storage:
     disks:
     - device: /dev/disk/by-id/<device_name> 

   1

   
       partitions:
       - label: var
         start_mib: <partition_start_offset> 

   2

   
         size_mib: <partition_size> 

   3

   
         number: 5
     filesystems:
       - device: /dev/disk/by-partlabel/var
         path: /var
         format: xfs
         mount_options: [defaults, prjquota] 

   4

   
         with_mount_unit: true

   Copy to Clipboard Toggle word wrap

   1

   要分区的磁盘的存储设备名称。

   2

   在引导磁盘中添加数据分区时，推荐最少使用 25000 MiB(Mebibytes)。root 文件系统会自动调整大小以填充所有可用空间（最多到指定的偏移值）。如果没有指定值，或者指定的值小于推荐的最小值，则生成的 root 文件系统会太小，而在以后进行的 RHCOS 重新安装可能会覆盖数据分区的开始部分。

   3

   以兆字节为单位的数据分区大小。

   4

   对于用于容器存储的文件系统，必须启用 prjquota 挂载选项。

   注意

   当创建单独的 /var 分区时，如果不同的实例类型没有相同的设备名称，则无法为 worker 节点使用不同的实例类型。

5. 从 Butane 配置创建一个清单，并将它保存到 clusterconfig/openshift 目录中。例如，运行以下命令：

   $ butane $HOME/clusterconfig/98-var-partition.bu -o $HOME/clusterconfig/openshift/98-var-partition.yaml

   Copy to Clipboard Toggle word wrap

6. 再次运行 openshift-install，从 manifest 和 openshift 子目录中的一组文件创建 Ignition 配置：

   $ openshift-install create ignition-configs --dir $HOME/clusterconfig
   $ ls $HOME/clusterconfig/
   auth  bootstrap.ign  master.ign  metadata.json  worker.ign

   Copy to Clipboard Toggle word wrap

流程

1. 可选：如果您之前在这个计算机上运行安装程序，并希望使用替代的服务主体或受管身份，请进入 ~/.azure/ 目录并删除 osServicePrincipal.json 配置文件。

   删除此文件可防止安装程序自动重复使用之前安装中的订阅和验证值。

2. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 

      1

      Copy to Clipboard Toggle word wrap

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      在指定目录时：

      • 验证该目录是否具有执行权限。在安装目录中运行 Terraform 二进制文件需要这个权限。

      • 使用空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

        注意

        始终删除 ~/.powervs 目录，以避免重复使用过时的配置。运行以下命令:

        $ rm -rf ~/.powervs

        Copy to Clipboard Toggle word wrap

   2. 在提示符处，提供云的配置详情：

      1. 可选： 选择用于访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 azure 作为目标平台。

         如果安装程序无法找到之前安装中的 osServicePrincipal.json 配置文件，会提示您输入 Azure 订阅和验证值。

      3. 为您的订阅输入以下 Azure 参数值：

         • Azure subscription id ：输入用于集群的订阅 ID。
         • Azure 租户 id ：输入租户 ID。

      4. 根据您用来部署集群的 Azure 身份，在提示输入 azure 服务主体客户端 id 时执行以下操作之一：

         • 如果您使用服务主体，请输入其应用程序 ID。
         • 如果您使用系统分配的受管身份，请将此值设为空白。
         • 如果您使用用户分配的受管身份，请指定其客户端 ID。

      5. 根据您用来部署集群的 Azure 身份，在提示输入 azure 服务主体客户端 secret 时执行以下操作之一：

         • 如果您使用服务主体，请输入其密码。
         • 如果您使用系统分配的受管身份，请将此值设为空白。
         • 如果您使用用户分配的受管身份，请将此值设为空白。
      6. 选择要将集群部署到的区域。
      7. 选择集群要部署到的基域。基域与您为集群创建的 Azure DNS 区对应。

      8. 为集群输入一个描述性名称。

         重要

         所有通过公共端点提供的 Azure 资源均存在资源名称的限制，您无法创建使用某些名称的资源。如需 Azure 限制词语列表，请参阅 Azure 文档中的解决保留资源名称错误。

      9. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。

3. 编辑 install-config.yaml 文件，以提供在受限网络中安装所需的额外信息。

   1. 更新 pullSecret 值，使其包含 registry 的身份验证信息：

      pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "you@example.com"}}}'

      Copy to Clipboard Toggle word wrap

      对于 <mirror_host_name>，请指定 您在镜像 registry 证书中指定的 registry 域名 ；对于 <credentials>， 请指定您的镜像 registry 的 base64 编码用户名和密码。

   2. 添加 additionalTrustBundle 参数和值。

      additionalTrustBundle: |
        -----BEGIN CERTIFICATE-----
        ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
        -----END CERTIFICATE-----

      Copy to Clipboard Toggle word wrap

      该值必须是您用于镜像 registry 的证书文件内容。证书文件可以是现有的可信证书颁发机构，也可以是您为镜像 registry 生成的自签名证书。

   3. 在 platform.azure 字段中定义 VNet 的网络和子网，以安装集群：

      networkResourceGroupName: <vnet_resource_group> 

      1

      
      virtualNetwork: <vnet> 

      2

      
      controlPlaneSubnet: <control_plane_subnet> 

      3

      
      computeSubnet: <compute_subnet> 

      4

      Copy to Clipboard Toggle word wrap

      1

      将 <vnet_resource_group> 替换为包含现有虚拟网络 (VNet)的资源组名称。

      2

      将 <vnet> 替换为现有的虚拟网络名称。

      3

      将 <control_plane_subnet> 替换为部署 control plane 机器的现有子网名称。

      4

      将 <compute_subnet> 替换为部署计算机器的现有子网名称。

   4. 添加镜像内容资源，类似于以下 YAML 摘录：

      imageContentSources:
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: quay.io/openshift-release-dev/ocp-release
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: registry.redhat.io/ocp/release

      Copy to Clipboard Toggle word wrap

      对于这些值，请使用您在创建镜像 registry 时记录的 imageContentSources。

   5. 可选：将发布策略设置为 Internal：

      publish: Internal

      Copy to Clipboard Toggle word wrap

      通过设置这个选项，您可以创建一个内部 Ingress Controller 和一个私有负载均衡器。

      重要

      Azure Firewall 无法与 Azure 公共负载均衡器无缝工作。因此，当使用 Azure Firewall 来限制互联网访问时，install-config.yaml 中的 publish 字段应设置为 Internal。

4. 对您需要的 install-config.yaml 文件进行任何其他修改。您可以在 安装配置参数部分找到有关可用参数 的更多信息。

5. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用该文件，您必须立即备份该文件。

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
   additionalTrustBundle: | 

   4

   
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 

   5

   Copy to Clipboard Toggle word wrap

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS（RHCOS）信任捆绑包合并， Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

   Copy to Clipboard Toggle word wrap
2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 导出 install-config.yaml 中由提供的 ARM 模板使用的通用变量：

   $ export CLUSTER_NAME=<cluster_name>

   1

   
   $ export AZURE_REGION=<azure_region>

   2

   
   $ export SSH_KEY=<ssh_key>

   3

   
   $ export BASE_DOMAIN=<base_domain>

   4

   
   $ export BASE_DOMAIN_RESOURCE_GROUP=<base_domain_resource_group>

   5

   Copy to Clipboard Toggle word wrap

   1

   install-config.yaml 文件中的.metadata.name 属性的值。

   2

   集群要部署到的区域，如 centralus 。这是来自 install-config.yaml 文件中的 .platform.azure.region 属性的值。

   3

   作为字符串的 SSH RSA 公钥文件。您必须使用引号包括 SSH 密钥，因为它包含空格。这是来自 install-config.yaml 文件中的 .sshKey 属性的值。

   4

   集群要部署到的基域。基域与您为集群创建的公共 DNS 区对应。这是来自 install-config.yaml 文件中的 .baseDomain 属性的值。

   5

   公共 DNS 区所在的资源组。这是来自 install-config.yaml 文件中的 .platform.azure.baseDomainResourceGroupName 属性的值。

   例如：

   $ export CLUSTER_NAME=test-cluster
   $ export AZURE_REGION=centralus
   $ export SSH_KEY="ssh-rsa xxx/xxx/xxx= user@email.com"
   $ export BASE_DOMAIN=example.com
   $ export BASE_DOMAIN_RESOURCE_GROUP=ocp-cluster

   Copy to Clipboard Toggle word wrap

2. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 

   1

   Copy to Clipboard Toggle word wrap

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

流程

1. 进入包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir <installation_directory> 

   1

   Copy to Clipboard Toggle word wrap

   1

   对于 <installation_directory>，请指定包含您创建的 install-config.yaml 文件的安装目录。

2. 删除定义 control plane 机器的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_master-machines-*.yaml

   Copy to Clipboard Toggle word wrap

   通过删除这些文件，您可以防止集群自动生成 control plane 机器。

3. 删除定义 control plane 机器集的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-machine-api_master-control-plane-machine-set.yaml

   Copy to Clipboard Toggle word wrap

4. 删除定义 worker 机器的 Kubernetes 清单文件：

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   Copy to Clipboard Toggle word wrap
   重要

   如果在用户置备的基础架构上安装集群时禁用了 MachineAPI 功能，则必须删除定义 worker 机器的 Kubernetes 清单文件。否则，集群将无法安装。

   由于您要自行创建和管理 worker 机器，因此不需要初始化这些机器。

5. 检查 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中的 mastersSchedulable 参数是否已设置为 false。此设置可防止在 control plane 机器上调度 pod：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并确保它被设置为 false。
   3. 保存并退出 文件。

6. 可选：如果您不希望 Ingress Operator 代表您创建 DNS 记录，请删除 <installation_directory>/manifests/cluster-dns-02-config.yml DNS 配置文件中的 privateZone 和 publicZone 部分：

   apiVersion: config.openshift.io/v1
   kind: DNS
   metadata:
     creationTimestamp: null
     name: cluster
   spec:
     baseDomain: example.openshift.com
     privateZone: 

   1

   
       id: mycluster-100419-private-zone
     publicZone: 

   2

   
       id: example.openshift.com
   status: {}

   Copy to Clipboard Toggle word wrap

   1 2

   完全删除此部分。

   如果您这样做，后续步骤中必须手动添加入口 DNS 记录。

7. 在用户置备的基础架构上配置 Azure 时，您必须导出清单文件中定义的一些常见变量，以备稍后在 Azure Resource Manager（ARM）模板中使用：

   1. 使用以下命令导出基础架构 ID:

      $ export INFRA_ID=<infra_id> 

      1

      Copy to Clipboard Toggle word wrap

      1

      OpenShift Container Platform 集群被分配了一个标识符（INFRA_ID），其格式为 <cluster_name>-<random_string>。这将作为使用提供的 ARM 模板创建的大部分资源的基本名称。这是来自 manifests/cluster-infrastructure-02-config.yml 文件中的 .status.infrastructureName 属性的值。

   2. 使用以下命令导出资源组：

      $ export RESOURCE_GROUP=<resource_group> 

      1

      Copy to Clipboard Toggle word wrap

      1

      此 Azure 部署中创建的所有资源都作为资源组的一部分。资源组名称还基于 INFRA_ID，格式为 <cluster_name>-<random_string>-rg。这是来自 manifests/cluster-infrastructure-02-config.yml 文件中的 .status.platformStatus.azure.resourceGroupName 属性的值。

8. 要创建 Ignition 配置文件，从包含安装程序的目录运行以下命令：

   $ ./openshift-install create ignition-configs --dir <installation_directory> 

   1

   Copy to Clipboard Toggle word wrap

   1

   对于 <installation_directory>，请指定相同的安装目录。

   为安装目录中的 bootstrap、control plane 和计算节点创建 Ignition 配置文件。kubeadmin-password 和 kubeconfig 文件是在 ./<installation_directory>/auth 目录中创建的：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

   Copy to Clipboard Toggle word wrap