2.2. 为外部 Ceph 存储系统创建 OpenShift Data Foundation 集群

流程

1. 在 OpenShift Web 控制台中，点击 Storage Data Foundation Storage Systems Create StorageSystem。

2. 在 Backing storage 页面中，选择以下选项：

   1. 为 Deployment 类型选项选择 Full Deployment。
   2. 从可用选项中选择 Connect a external storage platform。
   3. 为 Storage platform 选择 Red Hat Ceph Storage。
   4. 点 Next。

3. 在连接详情页面中，提供必要的信息：

   1. 在 Connect to external cluster 部分中，点 Download Script 链接，以下载用于提取 Ceph 集群详细信息的 python 脚本。

   2. 要提取 Red Hat Ceph Storage (RHCS) 集群详情，请联系 RHCS 管理员，以在带有 admin 密钥 的 Red Hat Ceph Storage 节点上运行下载的 python 脚本。

      1. 在 RHCS 节点上运行以下命令查看可用参数列表：

         # python3 ceph-external-cluster-details-exporter.py --help

         重要

         如果在 Red Hat Enterprise Linux 7.x (RHEL 7.x) 集群中部署了 Red Hat Ceph Storage 4.x 集群，则使用 python 而不是 python3。

         您也可以从 MON 容器（容器化部署）或 MON 节点（RPM 部署）运行脚本。

         注意

         使用 yum install cephadm 命令，然后运行 cephadm 命令，使用容器部署 RHCS 集群。您必须使用 cephadm 命令拉取 RHCS 容器镜像，而不是使用 yum 将 Ceph 软件包安装到节点上。如需更多信息，请参阅 RHCS 产品文档。

      2. 要从 RHCS 集群检索外部集群详情，请选择以下两个选项之一，可以是配置文件或命令行标志。

         1. 配置文件

            使用 config-file 标志。这会存储部署期间使用的参数。

            在新部署中，您可以将部署期间使用的参数保存到配置文件中。然后，可以在升级过程中使用此文件来保留参数并添加任何其他参数。使用 config-file 设置配置文件的路径。

            保存在 /config.ini 中的配置文件示例：

            [Configurations]
            format = bash
            cephfs-filesystem-name = <filesystem-name>
            rbd-data-pool-name = <pool_name>
            ...

            使用 config-file 设置 config.ini 文件的路径：

            # python3 ceph-external-cluster-details-exporter.py --config-file /config.ini

         2. 命令行标记

            从 RHCS 集群检索外部集群详情，并传递部署的参数。

            # python3 ceph-external-cluster-details-exporter.py \
            --rbd-data-pool-name <rbd block pool name>  [optional arguments]

            例如：

            # python3 ceph-external-cluster-details-exporter.py --rbd-data-pool-name ceph-rbd --monitoring-endpoint xxx.xxx.xxx.xxx --monitoring-endpoint-port xxxx --rgw-endpoint xxx.xxx.xxx.xxx:xxxx --run-as-user client.ocs

            RBD 参数

            rbd-data-pool-name

            用于在 OpenShift Data Foundation 中提供块存储的必填参数。

            rados-namespace

            将 RBD 数据池划分为单独的逻辑命名空间，用于在 radosNamespace 中创建 RBD PVC。rados-namespace 所需的标记是 restricted-auth-permission 和 k8s-cluster-name。

            rbd-metadata-ec-pool-name

            （可选）纠删代码 RBD 元数据池的名称。

            RGW 参数

            rgw-endpoint

            （可选）只有在 OpenShift Data Foundation 的 Ceph Rados 网关置备了对象存储时，才需要此参数。使用以下格式提供端点：<ip_address>:<port>

            注意

            完全限定域名 (FQDN) 也支持 <FQDN>:<PORT> 格式。

            rgw-pool-prefix

            （可选） RGW 池的前缀。如果未指定，默认的前缀为 default。

            rgw-tls-cert-path

            （可选）RADOS 网关端点 TLS 证书的文件路径。

            • 要为 helper 脚本 ceph-external-cluster-details-exporter.py 提供 TLS 证书和 RGW 端点详情，请运行以下命令：

              # python3 ceph-external-clustergw-endpoint r-details-exporter.py --rbd-data-pool-name <rbd block pool name> --rgw-endpoint <ip_address>:<port> --rgw-tls-cert-path <file path containing cert>

              这会创建一个资源来创建 Ceph Object Store CR，如包含 TLS 证书的 Kubernetes secret。所有包括私钥的中间证书都需要存储在证书文件中。

            rgw-skip-tls

            （可选）此参数在提供自签名证书时忽略 TLS 证书验证（不推荐）。

            监控参数

            monitoring-endpoint

            （可选）此参数接受从 OpenShift Container Platform 集群访问的活跃和待机 mgrs 的 IP 地址的逗号分隔列表。如果没有提供，则会自动填充该值。

            monitoring-endpoint-port

            （可选）它是与 --monitoring-endpoint 指定的 ceph-mgr Prometheus exporter 关联的端口。如果没有提供，则会自动填充该值。

            Ceph 参数

            ceph-conf

            （可选）Ceph 配置文件的名称。

            run-as-user

            （可选）此参数用于为脚本创建的 Ceph 用户提供名称。如果没有指定此参数，则会创建一个默认的用户名 client.healthchecker。新用户的权限被设置为：

            • caps: [mgr] allow command config
            • caps: [mon] allow r, allow command quorum_status, allow command version
            • caps: [osd] allow rwx pool=RGW_POOL_PREFIX.rgw.meta, allow r pool=.rgw.root, allow rw pool=RGW_POOL_PREFIX.rgw.control, allow rx pool=RGW_POOL_PREFIX.rgw.log, allow x pool=RGW_POOL_PREFIX.rgw.buckets.index

            CephFS 参数

            cephfs-metadata-pool-name

            （可选）CephFS 元数据池的名称。

            cephfs-data-pool-name

            （可选）CephFS 数据池的名称。

            cephfs-filesystem-name

            （可选）CephFS 文件的名称。

            输出参数

            dry-run

            （可选）此参数会打印已执行命令的输出而不实际运行它们。

            output

            （可选）需要存储输出的文件。

            多集群参数

            k8s-cluster-name

            （可选）Kubernetes 集群名称。

            cluster-name

            （可选）Ceph 集群名称。

            restricted-auth-permission

            （可选）此参数将 cephCSIKeyrings auth 权限限制为特定的池和集群。需要与此一起设置的强制标记是 rbd-data-pool-name 和 cluster-name。如果 CephFS 用户有限制，您也可以通过 cephfs-filesystem-name 标志，以便权限仅限于特定的 CephFS 文件系统。

            注意

            此参数必须只应用于新部署。要限制每个池和每个集群的 csi-users，您需要为这些 csi-users 创建新的 csi-users 和新的 secret。

            带有受限身份验证权限的示例：

            # python3 /etc/ceph/create-external-cluster-resources.py --cephfs-filesystem-name myfs --rbd-data-pool-name replicapool --cluster-name rookStorage --restricted-auth-permission true

            使用 python 脚本生成的 JSON 输出示例：

            [{"name": "rook-ceph-mon-endpoints", "kind": "ConfigMap", "data": {"data": "xxx.xxx.xxx.xxx:xxxx", "maxMonId": "0", "mapping": "{}"}}, {"name": "rook-ceph-mon", "kind": "Secret", "data": {"admin-secret": "admin-secret", "fsid": "<fs-id>", "mon-secret": "mon-secret"}}, {"name": "rook-ceph-operator-creds", "kind": "Secret", "data": {"userID": "<user-id>", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-node", "kind": "Secret", "data": {"userID": "csi-rbd-node", "userKey": "<user-key>"}}, {"name": "ceph-rbd", "kind": "StorageClass", "data": {"pool": "<pool>"}}, {"name": "monitoring-endpoint", "kind": "CephCluster", "data": {"MonitoringEndpoint": "xxx.xxx.xxx.xxx", "MonitoringPort": "xxxx"}}, {"name": "rook-ceph-dashboard-link", "kind": "Secret", "data": {"userID": "ceph-dashboard-link", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-provisioner", "kind": "Secret", "data": {"userID": "csi-rbd-provisioner", "userKey": "<user-key>"}}, {"name": "rook-csi-cephfs-provisioner", "kind": "Secret", "data": {"adminID": "csi-cephfs-provisioner", "adminKey": "<admin-key>"}}, {"name": "rook-csi-cephfs-node", "kind": "Secret", "data": {"adminID": "csi-cephfs-node", "adminKey": "<admin-key>"}}, {"name": "cephfs", "kind": "StorageClass", "data": {"fsName": "cephfs", "pool": "cephfs_data"}}, {"name": "ceph-rgw", "kind": "StorageClass", "data": {"endpoint": "xxx.xxx.xxx.xxx:xxxx", "poolPrefix": "default"}}, {"name": "rgw-admin-ops-user", "kind": "Secret", "data": {"accessKey": "<access-key>", "secretKey": "<secret-key>"}}]

      3. 将 JSON 输出保存到带有 .json 扩展名的文件

         注意

         要使 OpenShift Data Foundation 无缝工作，请确保使用 JSON 文件上传的参数（RGW 端点、CephFS 详细信息和 RBD 池等）在创建存储集群后在 RHCS 外部集群上保持不变。

      4. 在多租户部署中的 RHCS 集群已连接到带有较低版本的 OpenShift Data Foundation 部署时，运行命令。

         # python3 ceph-external-cluster-details-exporter.py --upgrade

   3. 单击 Browse 以选择并上传 JSON 文件。

      JSON 文件的内容填充并在文本框中显示。

   4. 点 Next

      只有上传 .json 文件后，Next 按钮才会启用。

4. 在 Review and create 页面中，检查所有详情是否正确：

   • 若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
5. 单击 Create StorageSystem。

1. 在 OpenShift Web 控制台中，导航到 Storage Data Foundation Storage System ocs-external-storagecluster。
2. 验证 StorageCluster 的 Status 是否为 Ready 且具有绿色勾号。
3. 要验证 OpenShift Data Foundation、Pod 和 StorageClass 是否已成功安装，请参阅验证外部 Ceph 存储系统的 OpenShift Data Foundation 安装模式。