19.4. 在您自己的基础架构的 OpenStack 上安装集群

流程

1. 在命令行中添加软件仓库：

   1. 使用 Red Hat Subscription Manager 注册：

      $ sudo subscription-manager register # If not done already

   2. 获取最新的订阅数据：

      $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already

   3. 禁用当前的软件仓库：

      $ sudo subscription-manager repos --disable=* # If not done already

   4. 添加所需的软件仓库：

      $ sudo subscription-manager repos \
        --enable=rhel-8-for-x86_64-baseos-rpms \
        --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
        --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
        --enable=rhel-8-for-x86_64-appstream-rpms

2. 安装模块：

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr ansible-collections-openstack

3. 确保 python 命令指向 python 3:

   $ sudo alternatives --set python /usr/bin/python3

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64、ppc64le 和 s390x 架构上安装使用 RHEL 加密库（这些加密库已提交给 NIST 用于 FIPS 140-2/140-3 验证）的 OpenShift Container Platform 集群，则不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 登录到红帽客户门户网站的产品 下载页面。

2. 在 Version 下，为 Red Hat Enterprise Linux（RHEL）8 选择 OpenShift Container Platform 4.16 的最新发行版本。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

3. 下载 Red Hat Enterprise Linux CoreOS(RHCOS)- OpenStack Image(QCOW)。

4. 解压缩镜像。

   注意

   您必须解压 RHOSP 镜像，然后集群才能使用它。下载的文件的名称可能不包含压缩扩展名，如 .gz 或. tgz。要查找是否或者如何压缩文件，请在命令行中输入：

   $ file <name_of_downloaded_file>

5. 从您下载的镜像，使用 RHOSP CLI 在集群中创建名为 rhcos 的镜像：

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   根据您的 RHOSP 环境，您可能能够以. raw 或 .qcow2 格式 上传镜像。如果使用 Ceph，则必须使用 .raw 格式。

   警告

   如果安装程序发现多个同名的镜像，它会随机选择其中之一。为避免这种行为，请在 RHOSP 中为资源创建唯一名称。

流程

1. 使用 RHOSP CLI 验证"外部"网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"

   输出示例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon Web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     记得在 auth 字段中添加密码。您还可以将 secret 保存在 clouds.yaml 以外的 一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的 配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: <username>
           password: <password>
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: <username>
           password: <password>
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构(CA)证书进行端点身份验证：

   1. 将证书颁发机构文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对、不可 root 访问的路径：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的 ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按顺序搜索 clouds.yaml。

流程

1. 对于双堆栈集群部署，编辑 inventory.yaml 文件并取消注释 os_subnet6 属性。

2. 在命令行中运行以下命令创建网络资源：

   $ ansible-playbook -i inventory.yaml network.yaml

   注意

   API 和 Ingress VIP 字段将在 inventory.yaml playbook 中覆盖，IP 地址分配给网络端口。

   注意

   network.yaml playbook 创建的资源由 down-network.yaml playbook 删除。

流程

1. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      在指定目录时：

      • 验证该目录是否具有执行权限。在安装目录中运行 Terraform 二进制文件需要这个权限。
      • 使用空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

   2. 在提示符处，提供云的配置详情：

      1. 可选： 选择用于访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform(RHOSP)外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 节点，以及计算节点的 8 GB RAM。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并且还包括集群名称。
      7. 为集群输入一个名称。名称长度必须为 14 个或更少字符。
2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用该文件，您必须立即备份该文件。

流程

1. 进入包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定包含您创建的 install-config.yaml 文件的安装目录。

2. 删除定义 control plane 机器的 Kubernetes 清单文件、计算机器集和 control plane 机器集：

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml openshift/99_openshift-machine-api_master-control-plane-machine-set.yaml

   由于您要自行创建和管理这些资源，因此不必初始化这些资源。

   • 您可以使用机器 API 来保留计算机器集文件来创建计算机器，但您必须更新对它们的引用以匹配您的环境。

3. 检查 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中的 mastersSchedulable 参数是否已设置为 false。此设置可防止在 control plane 机器上调度 pod：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并确保它被设置为 false。
   3. 保存并退出 文件。

4. 要创建 Ignition 配置文件，请从包含安装程序的目录运行以下命令：

   $ ./openshift-install create ignition-configs --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   为安装目录中的 bootstrap、control plane 和计算节点创建 Ignition 配置文件。kubeadmin-password 和 kubeconfig 文件在 ./<installation_directory>/auth 目录中创建：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. 将元数据文件的 infraID 密钥导出为环境变量：

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

流程

1. 运行以下 Python 脚本：该脚本修改 bootstrap Ignition 文件，以设置主机名，并在运行时设置 CA 证书文件：

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64
       }
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64
           }
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. 使用 RHOSP CLI，创建使用 bootstrap Ignition 文件的镜像：

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. 获取镜像的详情：

   $ openstack image show <image_name>

   记录 file 值；它遵循 v2/images/<image_ID>/file 模式。

   注意

   验证您创建的镜像是否活跃。

4. 检索镜像服务的公共地址：

   $ openstack catalog show image

5. 将公共地址与 镜像文件 值组合，并在存储位置保存结果。位置遵循 <image_service_public_URL>/v2/images/<image_ID>/file 模式。

6. 生成身份验证令牌并保存令牌 ID：

   $ openstack token issue -c id -f value

7. 将以下内容插入到名为 $INFRA_ID-bootstrap-ignition.json 的文件中，并编辑占位符以匹配您自己的值：

   {
     "ignition": {
       "config": {
         "merge": [{
           "source": "<storage_url>", 1
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>" 4
           }]
         }
       },
       "version": "3.2.0"
     }
   }

   1

   将 ignition.config.merge.source 值替换为 bootstrap Ignition 文件存储 URL。

   2

   在 httpHeaders 中将 name 设置为 "X-Auth-Token"。

   3

   在 httpHeaders 中将 value 设置为您的令牌 ID。

   4

   如果 bootstrap Ignition 文件服务器使用自签名证书，请包含 base64 编码的证书。

8. 保存辅助 Ignition 配置文件。

流程

1. 可选：在 inventory.yaml playbook 中添加外部网络值：

   inventory.yaml Ansible Playbook 中的外部网络值示例

   ...
         # The public network providing connectivity to the cluster. If not
         # provided, the cluster external connectivity must be provided in another
         # way.
   
         # Required for os_api_fip, os_ingress_fip, os_bootstrap_fip.
         os_external_network: 'external'
   ...

   重要

   如果您没有在 inventory.yaml 文件中提供 for os_external_network 值，您必须确保虚拟机可以自行访问 Glance 和外部连接。

2. 可选：将外部网络和浮动 IP(FIP)地址值添加到 inventory.yaml playbook 中：

   inventory.yaml Ansible Playbook 中的 FIP 值示例

   ...
         # OpenShift API floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the Control Plane to
         # serve the OpenShift API.
         os_api_fip: '203.0.113.23'
   
         # OpenShift Ingress floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the worker nodes to serve
         # the applications.
         os_ingress_fip: '203.0.113.19'
   
         # If this value is non-empty, the corresponding floating IP will be
         # attached to the bootstrap machine. This is needed for collecting logs
         # in case of install failure.
         os_bootstrap_fip: '203.0.113.20'

   重要

   如果没有为 os_api_fip 和 os_ingress_fip 定义值，则必须执行安装后网络配置。

   如果没有为 os_bootstrap_fip 定义值，安装程序无法从失败的安装中下载调试信息。

   如需更多信息，请参阅"启用对环境的访问"。

3. 在命令行中，通过运行 security-groups.yaml playbook 来创建安全组：

   $ ansible-playbook -i inventory.yaml security-groups.yaml

4. 在命令行中，运行 update-network-resources.yaml playbook 更新网络资源：

   $ ansible-playbook -i inventory.yaml update-network-resources.yaml 1

   1

   此 playbook 将添加标签到网络、子网、端口和路由器。它还将浮动 IP 地址附加到 API 和 Ingress 端口，并为这些端口设置安全组。

5. 可选：如果要控制 Nova 服务器使用的默认解析程序，请运行 RHOSP CLI 命令：

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

6. 可选： 您可以使用您创建的 inventory.yaml 文件来自定义安装。例如，您可以部署使用裸机的集群。

流程

1. 在命令行中，将工作目录更改为 playbook 的位置。

2. 在命令行中运行 bootstrap.yaml playbook：

   $ ansible-playbook -i inventory.yaml bootstrap.yaml

3. bootstrap 服务器活跃后，查看日志以验证是否收到 Ignition 文件：

   $ openstack console log show "$INFRA_ID-bootstrap"

流程

1. 在命令行中，将工作目录更改为 playbook 的位置。
2. 如果 control plane Ignition 配置文件尚未位于工作目录中，请将它们复制到其中。

3. 在命令行中运行 control-plane.yaml playbook：

   $ ansible-playbook -i inventory.yaml control-plane.yaml

4. 运行以下命令来监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete

   您将看到确认 control plane 机器正在运行并加入集群的信息：

   INFO API v1.29.4 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 在命令行中，将工作目录更改为 playbook 的位置。

2. 在命令行中运行 down-bootstrap.yaml playbook：

   $ ansible-playbook -i inventory.yaml down-bootstrap.yaml

流程

1. 在命令行中，将工作目录更改为 playbook 的位置。

2. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml compute-nodes.yaml

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.29.4
   master-1  Ready     master  63m  v1.29.4
   master-2  Ready     master  64m  v1.29.4

   输出中列出了您创建的所有机器。

   注意

   在有些 CSR 被批准前，前面的输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，在您添加的机器的所有待处理 CSR 都处于 Pending 状态 后，请批准集群机器的 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准它们，证书将会轮转，每个节点会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则后续提供证书续订请求由 machine-approver 自动批准。

   注意

   对于在未启用机器 API 的平台上运行的集群，如裸机和其他用户置备的基础架构，您必须实施一种方法来自动批准 kubelet 提供证书请求(CSR)。如果没有批准请求，则 oc exec、ocrsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。该方法必须监视新的 CSR，确认 CSR 由 system: node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，机器将 处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.29.4
   master-1  Ready     master  73m  v1.29.4
   master-2  Ready     master  74m  v1.29.4
   worker-0  Ready     worker  11m  v1.29.4
   worker-1  Ready     worker  11m  v1.29.4

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器过渡到 Ready 状态。