15.8. 在受限网络中的 OpenStack 上安装集群

1. 在 RHOSP CLI 中以管理员身份，将 swiftoperator 角色添加到将要访问 Swift 的帐户中：

   $ openstack role add --user <user> --project <project> swiftoperator

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon Web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     记得在 auth 字段中添加密码。您还可以将 secret 保存在 clouds.yaml 以外的 一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的 配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构(CA)证书进行端点身份验证：

   1. 将证书颁发机构文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对、不可 root 访问的路径：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的 ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按顺序搜索 clouds.yaml。

流程

1. 如果您还没有为集群生成清单文件，请运行以下命令生成这些文件：

   $ openshift-install --dir <destination_directory> create manifests

2. 在文本编辑器中，打开 cloud-provider 配置清单文件。例如：

   $ vi openshift/manifests/cloud-provider-config.yaml

3. 根据云配置规格修改选项。

   为负载均衡配置 Octavia 是不使用 Kuryr 的集群的一个常见情况。例如：

   #...
   [LoadBalancer]
   use-octavia=true 1
   lb-provider = "amphora" 2
   floating-network-id="d3deb660-4190-40a3-91f1-37326fe6ec4a"3
   #...

   1

   此属性启用 Octavia 集成。

   2

   此属性设置负载均衡器使用的 Octavia 供应商。它接受 "ovn" 或 "amphora" 作为值。如果您选择使用 OVN，还必须将 lb-method 设置为 SOURCE_IP_PORT。

   3

   如果要将多个外部网络用于集群，则需要此属性。云提供商在网络上创建此处指定的浮动 IP 地址。

   重要

   在保存更改之前，请验证该文件的结构是否正确。如果属性没有放入相应的部分，集群可能会失败。

   重要

   对于使用 Kuryr 的安装，Kuryr 处理相关服务。不需要在云供应商中配置 Octavia 负载均衡。

4. 保存对文件的更改并开始安装。

   提示

   您可以在运行安装程序后更新云供应商配置。在命令行中运行：

   $ oc edit configmap -n openshift-config cloud-provider-config

   保存更改后，您的集群将需要一些时间重新配置其自身。如果您的任一节点都没有 SchedulingDisabled 状态，则此过程已完成。

流程

1. 登录到红帽客户门户网站的产品 下载页面。

2. 在 Version 下，为 RHEL 8 选择 OpenShift Container Platform 4.9 的最新发行版本。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

3. 下载 Red Hat Enterprise Linux CoreOS(RHCOS)- OpenStack Image(QCOW) 镜像。

4. 解压缩镜像。

   注意

   您必须解压镜像，然后集群才能使用它。下载的文件的名称可能不包含压缩扩展名，如 .gz 或. tgz。要查找是否或者如何压缩文件，请在命令行中输入：

   $ file <name_of_downloaded_file>

5. 将您解压缩的镜像上传到堡垒服务器可访问的位置，如 Glance。例如：

   $ openstack image create --file rhcos-44.81.202003110027-0-openstack.x86_64.qcow2 --disk-format qcow2 rhcos-${RHCOS_VERSION}

   重要

   根据您的 RHOSP 环境，您可能能够以. raw 或 .qcow2 格式 上传镜像。如果使用 Ceph，则必须使用 .raw 格式。

   警告

   如果安装程序发现多个同名的镜像，它会随机选择其中之一。为避免这种行为，请在 RHOSP 中为资源创建唯一名称。

流程

1. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      重要

      指定一个空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

   2. 在提示符处，提供云的配置详情：

      1. 可选： 选择用于访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform(RHOSP)外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 节点，以及计算节点的 8 GB RAM。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并且还包括集群名称。
      7. 为集群输入一个名称。名称长度必须为 14 个或更少字符。
      8. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。

2. 在 install-config.yaml 文件中，将 platform.openstack.clusterOSImage 的值设置为镜像位置或名称。例如：

   platform:
     openstack:
         clusterOSImage: http://mirror.example.com/images/rhcos-43.81.201912131630.0-openstack.x86_64.qcow2.gz?sha256=ffebbd68e8a1f2a245ca19522c16c86f67f9ac8e4e0c1f0a812b068b16f7265d

3. 编辑 install-config.yaml 文件，以提供在受限网络中安装所需的额外信息。

   1. 更新 pullSecret 值，使其包含 registry 的身份验证信息：

      pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "you@example.com"}}}'

      对于 <mirror_host_name>，请指定 您在镜像 registry 证书中指定的 registry 域名 ；对于 <credentials>， 请指定您的镜像 registry 的 base64 编码用户名和密码。

   2. 添加 additionalTrustBundle 参数和值。

      additionalTrustBundle: |
        -----BEGIN CERTIFICATE-----
        ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
        -----END CERTIFICATE-----

      该值必须是您用于镜像 registry 的证书文件内容，可以是现有的可信证书颁发机构，也可以是您为镜像 registry 生成的自签名证书。

   3. 添加镜像内容资源，如下例所示：

      imageContentSources:
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: quay.io/openshift-release-dev/ocp-release
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: registry.redhat.io/ocp/release

      要完成这些值，请使用您在创建镜像 registry 过程中记录的 imageContentSources。

4. 对您需要的 install-config.yaml 文件进行任何其他修改。您可以在 安装配置参数部分找到有关可用参数 的更多信息。

5. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用该文件，您必须立即备份该文件。

流程

1. 使用 RHOSP 命令行界面，为您的计算机器创建服务器组。例如：

   $ openstack \
       --os-compute-api-version=2.15 \
       server group create \
       --policy anti-affinity \
       my-openshift-worker-group

   如需更多信息，请参阅 服务器组 create 命令文档。

2. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory>

   其中：

   installation_directory

   指定包含集群的 install-config.yaml 文件的目录名称。

3. 打开 manifests/99_openshift-cluster-api_worker-machineset-0.yaml，这是 MachineSet 定义文件。

4. 将属性 serverGroupID 添加到 spec.template.spec.providerSpec.value 属性下的定义中。例如：

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   metadata:
     labels:
       machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
       machine.openshift.io/cluster-api-machine-role: <node_role>
       machine.openshift.io/cluster-api-machine-type: <node_role>
     name: <infrastructure_ID>-<node_role>
     namespace: openshift-machine-api
   spec:
     replicas: <number_of_replicas>
     selector:
       matchLabels:
         machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
         machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
     template:
       metadata:
         labels:
           machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
           machine.openshift.io/cluster-api-machine-role: <node_role>
           machine.openshift.io/cluster-api-machine-type: <node_role>
           machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
       spec:
         providerSpec:
           value:
             apiVersion: openstackproviderconfig.openshift.io/v1alpha1
             cloudName: openstack
             cloudsSecret:
               name: openstack-cloud-credentials
               namespace: openshift-machine-api
             flavor: <nova_flavor>
             image: <glance_image_name_or_location>
             serverGroupID: aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee 1
             kind: OpenstackProviderSpec
             networks:
             - filter: {}
               subnets:
               - filter:
                   name: <subnet_name>
                   tags: openshiftClusterID=<infrastructure_ID>
             securityGroups:
             - filter: {}
               name: <infrastructure_ID>-<node_role>
             serverMetadata:
               Name: <infrastructure_ID>-<node_role>
               openshiftClusterID: <infrastructure_ID>
             tags:
             - openshiftClusterID=<infrastructure_ID>
             trunk: true
             userDataSecret:
               name: <node_role>-user-data
             availabilityZone: <optional_openstack_availability_zone>

   1

   在此处添加服务器组的 UUID。

5. 可选：备份 manifests/99_openshift-cluster-api_worker-machineset-0.yaml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 进入包含安装程序的目录并初始化集群部署：

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   注意

   如果您在主机上配置的云供应商帐户没有足够的权限来部署集群，安装过程将停止，并显示缺少的权限。

   当集群部署完成后，终端会显示访问集群的说明，包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

   输出示例

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   注意

   当安装成功时，集群访问和凭证信息也会输出到 <installation_directory>/.openshift_install.log。

   重要
   • 安装程序生成的 Ignition 配置文件包含 24 小时后过期的证书，然后在该时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外是，您必须手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书 中恢复的文档。
   • 建议您在 Ignition 配置文件生成后的 12 小时内使用它们，因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。
   重要

   您不得删除安装程序或安装程序创建的文件。需要这两者才能删除集群。

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin