12.2. 使用自定义配置在 OpenStack 上安装集群

1. 在 RHOSP CLI 中以管理员身份，将 swiftoperator 角色添加到要访问 Swift 的帐户：

   $ openstack role add --user <user> --project <project> swiftoperator

流程

1. 创建一个 YAML 文件，用于指定要使用的存储类和可用性区域。例如：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: custom-csi-storageclass
   provisioner: cinder.csi.openstack.org
   volumeBindingMode: WaitForFirstConsumer
   allowVolumeExpansion: true
   parameters:
     availability: <availability_zone_name>

   注意

   OpenShift Container Platform 不验证您选择的可用区是否存在。应用配置前，请验证可用性区域的名称。

2. 在命令行中应用配置：

   $ oc apply -f <storage_class_file_name>

   输出示例

   storageclass.storage.k8s.io/custom-csi-storageclass created

3. 创建一个 YAML 文件，用于指定使用存储类和 openshift-image-registry 命名空间的持久性卷声明（PVC）。例如：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: csi-pvc-imageregistry
     namespace: openshift-image-registry 1
     annotations:
       imageregistry.openshift.io: "true"
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Filesystem
     resources:
       requests:
         storage: 100Gi 2
     storageClassName: <your_custom_storage_class> 3

   1

   输入命名空间 openshift-image-registry。此命名空间允许 Cluster Image Registry Operator 使用 PVC。

   2

   可选：调整卷大小。

   3

   输入您创建的存储类的名称。

4. 在命令行中应用配置：

   $ oc apply -f <pvc_file_name>

   输出示例

   persistentvolumeclaim/csi-pvc-imageregistry created

5. 将镜像 registry 配置中的原始持久性卷声明替换为新声明：

   $ oc patch configs.imageregistry.operator.openshift.io/cluster --type 'json' -p='[{"op": "replace", "path": "/spec/storage/pvc/claim", "value": "csi-pvc-imageregistry"}]'

   输出示例

   config.imageregistry.operator.openshift.io/cluster patched

   接下来的几分钟内，配置将更新。

1. 验证 PVC 声明值是否与您在 PVC 定义中提供的名称相同：

   $ oc get configs.imageregistry.operator.openshift.io/cluster -o yaml

   输出示例

   ...
   status:
       ...
       managementState: Managed
       pvc:
         claim: csi-pvc-imageregistry
   ...

2. 验证 PVC 的状态是否为 Bound：

   $ oc get pvc -n openshift-image-registry csi-pvc-imageregistry

   输出示例

   NAME                   STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS             AGE
   csi-pvc-imageregistry  Bound    pvc-72a8f9c9-f462-11e8-b6b6-fa163e18b7b5   100Gi      RWO            custom-csi-storageclass  11m

流程

1. 使用 RHOSP CLI 验证“外部”网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"

   输出示例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     请记住在 auth 字段中添加密码。您也可以把 secret 保存在 clouds.yaml 以外的一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构 (CA) 证书进行端点身份验证：

   1. 将 CA 文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对路径，则其可以被非根用户访问：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按照以上顺序搜索 clouds.yaml。

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建 install-config.yaml 文件。

   1. 更改到包含安装程序的目录，再运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定用于保存安装程序所创建的文件的目录名称。

      重要

      指定一个空目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

   2. 在提示符处，提供您的云的配置详情：

      1. 可选：选择用来访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform (RHOSP) 外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 节点，以及计算节点的 8 GB RAM。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并包含集群名称。
      7. 为集群输入一个名称。名称不能多于 14 个字符。
      8. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。
2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件，必须现在备份。

流程

1. 使用 RHOSP 命令行界面，为您的计算机器创建服务器组。例如：

   $ openstack \
       --os-compute-api-version=2.15 \
       server group create \
       --policy anti-affinity \
       my-openshift-worker-group

   如需更多信息，请参阅服务器组 create 命令文档。

2. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir=<installation_directory>

   其中：

   installation_directory

   指定包含集群的 install-config.yaml 文件的目录名称。

3. 打开 manifests/99_openshift-cluster-api_worker-machineset-0.yaml，这是 MachineSet 定义文件。

4. 将属性 serverGroupID 添加到 spec.template.spec.providerSpec.value 属性下的定义中。例如：

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   metadata:
     labels:
       machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
       machine.openshift.io/cluster-api-machine-role: <node_role>
       machine.openshift.io/cluster-api-machine-type: <node_role>
     name: <infrastructure_ID>-<node_role>
     namespace: openshift-machine-api
   spec:
     replicas: <number_of_replicas>
     selector:
       matchLabels:
         machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
         machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
     template:
       metadata:
         labels:
           machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
           machine.openshift.io/cluster-api-machine-role: <node_role>
           machine.openshift.io/cluster-api-machine-type: <node_role>
           machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
       spec:
         providerSpec:
           value:
             apiVersion: openstackproviderconfig.openshift.io/v1alpha1
             cloudName: openstack
             cloudsSecret:
               name: openstack-cloud-credentials
               namespace: openshift-machine-api
             flavor: <nova_flavor>
             image: <glance_image_name_or_location>
             serverGroupID: aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee 1
             kind: OpenstackProviderSpec
             networks:
             - filter: {}
               subnets:
               - filter:
                   name: <subnet_name>
                   tags: openshiftClusterID=<infrastructure_ID>
             securityGroups:
             - filter: {}
               name: <infrastructure_ID>-<node_role>
             serverMetadata:
               Name: <infrastructure_ID>-<node_role>
               openshiftClusterID: <infrastructure_ID>
             tags:
             - openshiftClusterID=<infrastructure_ID>
             trunk: true
             userDataSecret:
               name: <node_role>-user-data
             availabilityZone: <optional_openstack_availability_zone>

   1

   在此处添加服务器组的 UUID。

5. 可选：备份 manifests/99_openshift-cluster-api_worker-machineset-0.yaml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 如果您的本地机器上没有用于在集群节点上进行身份验证 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反之，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到您本地用户的 SSH 代理（如果尚未添加）。在集群节点上进行免密码 SSH 身份验证，或者您想要使用 ./openshift-install gather 命令，则需要使用 SSH 代理进行管理。

   注意

   在某些发行版中，会自动管理默认 SSH 私钥（如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa）。

   1. 如果 ssh-agent 进程还没有针对您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果您的集群采用 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 更改为包含安装程序的目录并初始化集群部署：

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   注意

   如果您在主机上配置的云供应商帐户没有足够的权限来部署集群，安装过程将会停止，并且显示缺少的权限。

   集群部署完成后，终端会显示访问集群的信息，包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

   输出示例

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   注意

   当安装成功时，集群访问和凭证信息还会输出到 <installation_directory>/.openshift_install.log。

   重要
   • 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在过期时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外情况是，您需要手动批准待处理的 node-bootstrapper 证书签名请求（CSR）来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书中恢复的文档。
   • 建议您在生成 12 小时后使用 Ignition 配置文件，因为集群安装后 24 小时证书从 16 小时轮转至 22 小时。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中运行证书更新时避免安装失败。
   重要

   您不得删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含关于集群的信息，供 CLI 用于将客户端连接到正确集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin