12.5. 在您自己的基础架构的 OpenStack 上安装集群

流程

1. 在命令行中添加软件仓库：

   1. 使用 Red Hat Subscription Manager 注册：

      $ sudo subscription-manager register # If not done already

   2. 获取最新的订阅数据：

      $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already

   3. 禁用当前的软件仓库：

      $ sudo subscription-manager repos --disable=* # If not done already

   4. 添加所需的软件仓库：

      $ sudo subscription-manager repos \
        --enable=rhel-8-for-x86_64-baseos-rpms \
        --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
        --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
        --enable=rhel-8-for-x86_64-appstream-rpms

2. 安装模块：

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr

3. 确保 python 命令指向 python3:

   $ sudo alternatives --set python /usr/bin/python3

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 如果您的本地机器上没有用于在集群节点上进行身份验证 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反之，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到您本地用户的 SSH 代理（如果尚未添加）。在集群节点上进行免密码 SSH 身份验证，或者您想要使用 ./openshift-install gather 命令，则需要使用 SSH 代理进行管理。

   注意

   在某些发行版中，会自动管理默认 SSH 私钥（如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa）。

   1. 如果 ssh-agent 进程还没有针对您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果您的集群采用 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 登录到红帽客户门户网站的产品下载页。

2. 在 Version 下，为 Red Hat Enterprise Linux（RHEL）8 选择 OpenShift Container Platform 4.8 的最新发行版本。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

3. 下载 Red Hat Enterprise Linux CoreOS（RHCOS） - OpenStack Image (QCOW)。

4. 解压镜像。

   注意

   您必须解压 RHOSP 镜像，然后集群才能使用它。下载的文件名可能不包含压缩扩展名，如 .gz 或 .tgz。要找出是否或者如何压缩文件，请在命令行中输入：

   $ file <name_of_downloaded_file>

5. 从您下载的镜像，使用 RHOSP CLI 在集群中创建名为 rhcos 的镜像：

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   根据您的 RHOSP 环境，可能需要使用 .raw 或 .qcow2 格式下载镜像。如果使用 Ceph，则必须使用 .raw 格式。

   警告

   如果安装程序发现多个同名的镜像，它会随机选择其中之一。为避免这种行为，请在 RHOSP 中为资源创建唯一名称。

流程

1. 使用 RHOSP CLI 验证“外部”网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"

   输出示例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     请记住在 auth 字段中添加密码。您也可以把 secret 保存在 clouds.yaml 以外的一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构 (CA) 证书进行端点身份验证：

   1. 将 CA 文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对路径，则其可以被非根用户访问：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按照以上顺序搜索 clouds.yaml。

流程

1. 创建 install-config.yaml 文件。

   1. 更改到包含安装程序的目录，再运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定用于保存安装程序所创建的文件的目录名称。

      重要

      指定一个空目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

   2. 在提示符处，提供您的云的配置详情：

      1. 可选：选择用来访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform (RHOSP) 外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 节点，以及计算节点的 8 GB RAM。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并包含集群名称。
      7. 为集群输入一个名称。名称不能多于 14 个字符。
      8. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。
2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件，必须现在备份。

流程

1. 切换到包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

2. 删除定义 control plane 机器的 Kubernetes 清单文件以及计算机器集：

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   由于您要自行创建和管理这些资源，因此不必初始化这些资源。

   • 您可以使用机器 API 来保留机器集文件来创建计算机器，但您必须更新对其的引用，以匹配您的环境。

     警告

     如果要安装一个三节点集群，请跳过以下步骤，以便 control plane 节点可以调度。

     重要

     当您将 control plane 节点从默认的不可调度配置为可以调度时，需要额外的订阅。这是因为 control plane 节点随后变为 worker 节点。

3. 检查 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中的 mastersSchedulable 参数是否已设置为 false。此设置可防止在 control plane 机器上调度 pod:

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数并确保它被设置为 false。
   3. 保存并退出文件。

4. 要创建 Ignition 配置文件，从包含安装程序的目录运行以下命令：

   $ ./openshift-install create ignition-configs --dir <installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   Ignition 配置文件是为安装目录中的 bootstrap、control plane 和计算节点创建的 Ignition 配置文件。kubeadmin-password 和 kubeconfig 文件是在 ./<installation_directory>/auth 目录中创建的：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. 将元数据文件的 infraID 键导出为环境变量：

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

流程

1. 运行以下 Python 脚本。该脚本修改 bootstrap Ignition 文件，以设置主机名，并在运行时设置 CA 证书文件：

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64
       }
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64
           }
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. 使用 RHOSP CLI，创建使用 bootstrap Ignition 文件的镜像：

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. 获取镜像的详情：

   $ openstack image show <image_name>

   请记录 file 值 ; 它需要遵循 v2/images/<image_ID>/file 格式。

   注意

   验证您创建的镜像是否活跃。

4. 检索镜像服务的公共地址：

   $ openstack catalog show image

5. 将公共地址与镜像的 file 值合并，并在存储位置保存结果。位置遵循 <image_service_public_URL>/v2/images/<image_ID>/file 格式。

6. 生成身份验证令牌并保存令牌 ID:

   $ openstack token issue -c id -f value

7. 将以下内容插入到名为 $INFRA_ID-bootstrap-ignition.json 的文件中，并编辑位置拥有者以匹配您自己的值：

   {
     "ignition": {
       "config": {
         "merge": [{
           "source": "<storage_url>", 1
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>" 4
           }]
         }
       },
       "version": "3.2.0"
     }
   }

   1

   将 ignition.config.merge.source 的值替换为 bootstrap Ignition 文件存储 URL。

   2

   在 httpHeaders 中将 name 设置为 "X-Auth-Token"。

   3

   在 httpHeaders 中将 value 设为您的令牌 ID。

   4

   如果 bootstrap Ignition 文件服务器使用自签名证书,请包括以 base64 编码的证书。

8. 保存二级 Ignition 配置文件。

流程

1. 可选：为 inventory.yaml playbook 添加一个外部网络值：

   inventory.yaml Ansible playbook 中的外部网络值示例

   ...
         # The public network providing connectivity to the cluster. If not
         # provided, the cluster external connectivity must be provided in another
         # way.
   
         # Required for os_api_fip, os_ingress_fip, os_bootstrap_fip.
         os_external_network: 'external'
   ...

   重要

   如果没有为 inventory.yaml 文件中的 os_external_network 提供值，则必须确保虚拟机可以自行访问 Glance 和外部连接。

2. 可选：将外部网络和浮动 IP（FIP）地址值添加到 inventory.yaml playbook：

   inventory.yaml Ansible playbook 中的 FIP 值示例

   ...
         # OpenShift API floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the Control Plane to
         # serve the OpenShift API.
         os_api_fip: '203.0.113.23'
   
         # OpenShift Ingress floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the worker nodes to serve
         # the applications.
         os_ingress_fip: '203.0.113.19'
   
         # If this value is non-empty, the corresponding floating IP will be
         # attached to the bootstrap machine. This is needed for collecting logs
         # in case of install failure.
         os_bootstrap_fip: '203.0.113.20'

   重要

   如果您没有为 os_api_fip 和 os_ingress_fip 定义值，则必须执行安装后的网络配置。

   如果您没有为 os_bootstrap_fip 定义值，安装程序将无法从失败的安装中下载调试信息。

   如需更多信息，请参阅"启用对环境的访问"。

3. 在命令行中，通过运行 security-groups.yaml playbook 来创建安全组：

   $ ansible-playbook -i inventory.yaml security-groups.yaml

4. 在命令行中，通过运行 network.yaml playbook 来创建一个网络、子网和路由器：

   $ ansible-playbook -i inventory.yaml network.yaml

5. 可选：如果要控制 Nova 服务器使用的默认解析程序，请运行 RHOSP CLI 命令：

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

流程

1. 在命令行中，将工作目录改为 playbook 的位置。

2. 在命令行中运行 bootstrap.yaml playbook：

   $ ansible-playbook -i inventory.yaml bootstrap.yaml

3. bootstrap 服务器可用后，查看日志以验证是否收到 Ignition 文件：

   $ openstack console log show "$INFRA_ID-bootstrap"

流程

1. 在命令行中，将工作目录改为 playbook 的位置。
2. 如果 control plane Ignition 配置文件尚未位于工作目录中，将其复制到其中。

3. 在命令行中运行 control-plane.yaml playbook：

   $ ansible-playbook -i inventory.yaml control-plane.yaml

4. 运行以下命令来监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete

   您会看到确认 control plane 机器正在运行并加入集群的消息：

   INFO API v1.14.6+f9b5405 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 在命令行中，将工作目录改为 playbook 的位置。

2. 在命令行中运行 down-bootstrap.yaml playbook：

   $ ansible-playbook -i inventory.yaml down-bootstrap.yaml

流程

1. 在命令行中，将工作目录改为 playbook 的位置。

2. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml compute-nodes.yaml

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.21.0
   master-1  Ready     master  63m  v1.21.0
   master-2  Ready     master  64m  v1.21.0

   输出将列出您创建的所有机器。

   注意

   在一些 CSR 被批准前，以上输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE   REQUESTOR                                   CONDITION
   csr-mddf5   20m   system:node:master-01.example.com   Approved,Issued
   csr-z5rln   16m   system:node:worker-21.example.com   Approved,Issued

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则 machine-approver 会自动批准后续服务证书续订请求。

   注意

   对于在未启用机器 API 的平台中运行的集群，如裸机和其他用户置备的基础架构，必须采用一种方法自动批准 kubelet 提供证书请求（CSR）。如果没有批准请求，则 oc exec、oc rsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。这个方法必须监视新的 CSR，确认 CSR 由 system:node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.21.0
   master-1  Ready     master  73m  v1.21.0
   master-2  Ready     master  74m  v1.21.0
   worker-0  Ready     worker  11m  v1.21.0
   worker-1  Ready     worker  11m  v1.21.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。