15.2. 使用自定义在 OpenStack 上安装集群

1. 在 RHOSP CLI 中以管理员身份，将 swiftoperator 角色添加到将要访问 Swift 的帐户中：

   $ openstack role add --user <user> --project <project> swiftoperator

流程

1. 创建一个 YAML 文件，用于指定要使用的存储类和可用性区域。例如：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: custom-csi-storageclass
   provisioner: cinder.csi.openstack.org
   volumeBindingMode: WaitForFirstConsumer
   allowVolumeExpansion: true
   parameters:
     availability: <availability_zone_name>

   注意

   OpenShift Container Platform 不验证您选择的可用区是否存在。应用配置前，请验证可用性区域的名称。

2. 在命令行中应用配置：

   $ oc apply -f <storage_class_file_name>

   输出示例

   storageclass.storage.k8s.io/custom-csi-storageclass created

3. 创建一个 YAML 文件，用于指定使用存储类和 openshift-image-registry 命名空间的持久性卷声明（PVC）。例如：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: csi-pvc-imageregistry
     namespace: openshift-image-registry 1
     annotations:
       imageregistry.openshift.io: "true"
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Filesystem
     resources:
       requests:
         storage: 100Gi 2
     storageClassName: <your_custom_storage_class> 3

   1

   输入命名空间 openshift-image-registry。此命名空间允许 Cluster Image Registry Operator 使用 PVC。

   2

   可选：调整卷大小。

   3

   输入您创建的存储类的名称。

4. 在命令行中应用配置：

   $ oc apply -f <pvc_file_name>

   输出示例

   persistentvolumeclaim/csi-pvc-imageregistry created

5. 将镜像 registry 配置中的原始持久性卷声明替换为新声明：

   $ oc patch configs.imageregistry.operator.openshift.io/cluster --type 'json' -p='[{"op": "replace", "path": "/spec/storage/pvc/claim", "value": "csi-pvc-imageregistry"}]'

   输出示例

   config.imageregistry.operator.openshift.io/cluster patched

   接下来的几分钟内，配置将更新。

1. 验证 PVC 声明值是否与您在 PVC 定义中提供的名称相同：

   $ oc get configs.imageregistry.operator.openshift.io/cluster -o yaml

   输出示例

   ...
   status:
       ...
       managementState: Managed
       pvc:
         claim: csi-pvc-imageregistry
   ...

2. 验证 PVC 的状态是否为 Bound：

   $ oc get pvc -n openshift-image-registry csi-pvc-imageregistry

   输出示例

   NAME                   STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS             AGE
   csi-pvc-imageregistry  Bound    pvc-72a8f9c9-f462-11e8-b6b6-fa163e18b7b5   100Gi      RWO            custom-csi-storageclass  11m

流程

1. 使用 RHOSP CLI 验证"外部"网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"

   输出示例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon Web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     记得在 auth 字段中添加密码。您还可以将 secret 保存在 clouds.yaml 以外的 一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的 配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构(CA)证书进行端点身份验证：

   1. 将证书颁发机构文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对、不可 root 访问的路径：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的 ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按顺序搜索 clouds.yaml。

流程

1. 如果您还没有为集群生成清单文件，请运行以下命令生成这些文件：

   $ openshift-install --dir <destination_directory> create manifests

2. 在文本编辑器中，打开 cloud-provider 配置清单文件。例如：

   $ vi openshift/manifests/cloud-provider-config.yaml

3. 根据云配置规格修改选项。

   为负载均衡配置 Octavia 是不使用 Kuryr 的集群的一个常见情况。例如：

   #...
   [LoadBalancer]
   use-octavia=true 1
   lb-provider = "amphora" 2
   floating-network-id="d3deb660-4190-40a3-91f1-37326fe6ec4a"3
   #...

   1

   此属性启用 Octavia 集成。

   2

   此属性设置负载均衡器使用的 Octavia 供应商。它接受 "ovn" 或 "amphora" 作为值。如果您选择使用 OVN，还必须将 lb-method 设置为 SOURCE_IP_PORT。

   3

   如果要将多个外部网络用于集群，则需要此属性。云提供商在网络上创建此处指定的浮动 IP 地址。

   重要

   在保存更改之前，请验证该文件的结构是否正确。如果属性没有放入相应的部分，集群可能会失败。

   重要

   对于使用 Kuryr 的安装，Kuryr 处理相关服务。不需要在云供应商中配置 Octavia 负载均衡。

4. 保存对文件的更改并开始安装。

   提示

   您可以在运行安装程序后更新云供应商配置。在命令行中运行：

   $ oc edit configmap -n openshift-config cloud-provider-config

   保存更改后，您的集群将需要一些时间重新配置其自身。如果您的任一节点都没有 SchedulingDisabled 状态，则此过程已完成。

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入您的安装类型的页面，下载您的操作系统的安装程序，并将该文件放在要保存安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      重要

      指定一个空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

   2. 在提示符处，提供云的配置详情：

      1. 可选： 选择用于访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform(RHOSP)外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 节点，以及计算节点的 8 GB RAM。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并且还包括集群名称。
      7. 为集群输入一个名称。名称长度必须为 14 个或更少字符。
      8. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。
2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件，必须现在备份。

流程

1. 使用 RHOSP 命令行界面，为您的计算机器创建服务器组。例如：

   $ openstack \
       --os-compute-api-version=2.15 \
       server group create \
       --policy anti-affinity \
       my-openshift-worker-group

   如需更多信息，请参阅 服务器组 create 命令文档。

2. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory>

   其中：

   installation_directory

   指定包含集群的 install-config.yaml 文件的目录名称。

3. 打开 manifests/99_openshift-cluster-api_worker-machineset-0.yaml，这是 MachineSet 定义文件。

4. 将属性 serverGroupID 添加到 spec.template.spec.providerSpec.value 属性下的定义中。例如：

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   metadata:
     labels:
       machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
       machine.openshift.io/cluster-api-machine-role: <node_role>
       machine.openshift.io/cluster-api-machine-type: <node_role>
     name: <infrastructure_ID>-<node_role>
     namespace: openshift-machine-api
   spec:
     replicas: <number_of_replicas>
     selector:
       matchLabels:
         machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
         machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
     template:
       metadata:
         labels:
           machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
           machine.openshift.io/cluster-api-machine-role: <node_role>
           machine.openshift.io/cluster-api-machine-type: <node_role>
           machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
       spec:
         providerSpec:
           value:
             apiVersion: openstackproviderconfig.openshift.io/v1alpha1
             cloudName: openstack
             cloudsSecret:
               name: openstack-cloud-credentials
               namespace: openshift-machine-api
             flavor: <nova_flavor>
             image: <glance_image_name_or_location>
             serverGroupID: aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee 1
             kind: OpenstackProviderSpec
             networks:
             - filter: {}
               subnets:
               - filter:
                   name: <subnet_name>
                   tags: openshiftClusterID=<infrastructure_ID>
             securityGroups:
             - filter: {}
               name: <infrastructure_ID>-<node_role>
             serverMetadata:
               Name: <infrastructure_ID>-<node_role>
               openshiftClusterID: <infrastructure_ID>
             tags:
             - openshiftClusterID=<infrastructure_ID>
             trunk: true
             userDataSecret:
               name: <node_role>-user-data
             availabilityZone: <optional_openstack_availability_zone>

   1

   在此处添加服务器组的 UUID。

5. 可选：备份 manifests/99_openshift-cluster-api_worker-machineset-0.yaml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 进入包含安装程序的目录并初始化集群部署：

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   注意

   如果您在主机上配置的云供应商帐户没有足够的权限来部署集群，安装过程将停止，并显示缺少的权限。

   当集群部署完成后，终端会显示访问集群的说明，包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

   输出示例

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   注意

   当安装成功时，集群访问和凭证信息也会输出到 <installation_directory>/.openshift_install.log。

   重要
   • 安装程序生成的 Ignition 配置文件包含 24 小时后过期的证书，然后在该时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外是，您必须手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书 中恢复的文档。
   • 建议您在 Ignition 配置文件生成后的 12 小时内使用它们，因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。
   重要

   您不得删除安装程序或安装程序创建的文件。需要这两者才能删除集群。

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin