以外部模式部署 OpenShift Data Foundation

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 将频道更新为 stable-4.11。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

   4. 将 Approval Strategy 选为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   5. 确保为 Console 插件 选择了 Enable 选项。
   6. 点 Install。

流程

1. 点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 单击 OpenShift Data Foundation，然后单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下选项：

   1. 为 Deployment 类型选项选择 Full Deployment。
   2. 从可用选项中选择 Connect a external storage platform。
   3. 为 Storage platform 选择 Red Hat Ceph Storage。
   4. 点 Next。

4. 在连接详情页面中，提供必要的信息：

   1. 在 Connect to external cluster 部分中，点 Download Script 链接，以下载用于提取 Ceph 集群详细信息的 python 脚本。

   2. 要提取 Red Hat Ceph Storage (RHCS) 集群详情，请联系 RHCS 管理员，以在带有 admin 密钥 的 Red Hat Ceph Storage 节点上运行下载的 python 脚本。

      1. 在 RHCS 节点上运行以下命令查看可用参数列表：

         # python3 ceph-external-cluster-details-exporter.py --help

         重要

         如果在 Red Hat Enterprise Linux 7.x (RHEL 7.x) 集群中部署了 Red Hat Ceph Storage 4.x 集群，则使用 python 而不是 python3。

         您也可以从 MON 容器（容器化部署）或 MON 节点（RPM 部署）运行脚本。

         注意

         使用 yum install cephadm 命令，然后运行 cephadm 命令，使用容器部署 RHCS 集群。您必须使用 cephadm 命令拉取 RHCS 容器镜像，而不是使用 yum 将 Ceph 软件包安装到节点上。如需更多信息，请参阅 RHCS 产品文档。

      2. 要从 RHCS 集群检索外部集群详情，请运行以下命令：

         # python3 ceph-external-cluster-details-exporter.py \
         --rbd-data-pool-name <rbd block pool name>  [optional arguments]

         例如：

         # python3 ceph-external-cluster-details-exporter.py --rbd-data-pool-name ceph-rbd --monitoring-endpoint xxx.xxx.xxx.xxx --monitoring-endpoint-port xxxx --rgw-endpoint xxx.xxx.xxx.xxx:xxxx --run-as-user client.ocs

         在本例中，

         rbd-data-pool-name	用于在 OpenShift Data Foundation 中提供块存储的必填参数。
         rgw-endpoint	（可选）只有在 OpenShift Data Foundation 的 Ceph Rados 网关置备了对象存储时，才需要此参数。使用以下格式提供端点：<ip_address>:<port> 注意 完全限定域名 (FQDN) 也支持 <FQDN>:<PORT> 格式。
         monitoring-endpoint	（可选）此参数接受从 OpenShift Container Platform 集群访问的活跃和待机 mgrs 的 IP 地址的逗号分隔列表。如果没有提供，则会自动填充该值。
         monitoring-endpoint-port	（可选）它是与 --monitoring-endpoint 指定的 ceph-mgr Prometheus exporter 关联的端口。如果没有提供，则会自动填充该值。
         run-as-user	（可选）此参数用于为脚本创建的 Ceph 用户提供名称。如果没有指定此参数，则会创建一个默认的用户名 client.healthchecker。新用户的权限被设置为： caps: [mgr] allow command config caps: [mon] allow r, allow command quorum_status, allow command version caps: [osd] allow rwx pool=RGW_POOL_PREFIX.rgw.meta, allow r pool=.rgw.root, allow rw pool=RGW_POOL_PREFIX.rgw.control, allow rx pool=RGW_POOL_PREFIX.rgw.log, allow x pool=RGW_POOL_PREFIX.rgw.buckets.index

         附加标记：

         rgw-pool-prefix	（可选） RGW 池的前缀。如果未指定，默认的前缀为 default。
         rgw-tls-cert-path	（可选）RADOS 网关端点 TLS 证书的文件路径。
         rgw-skip-tls	（可选）此参数在提供自签名证书时会忽略 TLS 证书验证(不推荐)。
         ceph-conf	（可选）Ceph 配置文件的名称。
         cluster-name	（可选）Ceph 集群名称。
         output	（可选）需要存储输出的文件。
         cephfs-metadata-pool-name	（可选）CephFS 元数据池的名称。
         cephfs-data-pool-name	（可选）CephFS 数据池的名称。
         cephfs-filesystem-name	（可选）CephFS 文件的名称。
         rbd-metadata-ec-pool-name	（可选）擦除代码 RBD 元数据池的名称。
         dry-run	（可选）此参数会打印已执行命令的输出而不实际运行它们。
         restricted-auth-permission	（可选）此参数将 cephCSIKeyrings auth 权限限制为特定的池和集群。需要与此一起设置的强制标记是 rbd-data-pool-name 和 cluster-name。如果 CephFS 用户有限制，您也可以通过 cephfs-filesystem-name 标志，以便权限仅限于特定的 CephFS 文件系统。 注意 此参数必须只应用于新部署。要限制每个池和每个集群的 csi-users，您需要为这些 csi-users 创建新的 csi-users 和新的 secret。

         带有受限身份验证权限的示例：

         # python3 /etc/ceph/create-external-cluster-resources.py --cephfs-filesystem-name myfs --rbd-data-pool-name replicapool --cluster-name rookStorage --restricted-auth-permission true

         使用 python 脚本生成的 JSON 输出示例：

         [{"name": "rook-ceph-mon-endpoints", "kind": "ConfigMap", "data": {"data": "xxx.xxx.xxx.xxx:xxxx", "maxMonId": "0", "mapping": "{}"}}, {"name": "rook-ceph-mon", "kind": "Secret", "data": {"admin-secret": "admin-secret", "fsid": "<fs-id>", "mon-secret": "mon-secret"}}, {"name": "rook-ceph-operator-creds", "kind": "Secret", "data": {"userID": "<user-id>", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-node", "kind": "Secret", "data": {"userID": "csi-rbd-node", "userKey": "<user-key>"}}, {"name": "ceph-rbd", "kind": "StorageClass", "data": {"pool": "<pool>"}}, {"name": "monitoring-endpoint", "kind": "CephCluster", "data": {"MonitoringEndpoint": "xxx.xxx.xxx.xxx", "MonitoringPort": "xxxx"}}, {"name": "rook-ceph-dashboard-link", "kind": "Secret", "data": {"userID": "ceph-dashboard-link", "userKey": "<user-key>"}}, {"name": "rook-csi-rbd-provisioner", "kind": "Secret", "data": {"userID": "csi-rbd-provisioner", "userKey": "<user-key>"}}, {"name": "rook-csi-cephfs-provisioner", "kind": "Secret", "data": {"adminID": "csi-cephfs-provisioner", "adminKey": "<admin-key>"}}, {"name": "rook-csi-cephfs-node", "kind": "Secret", "data": {"adminID": "csi-cephfs-node", "adminKey": "<admin-key>"}}, {"name": "cephfs", "kind": "StorageClass", "data": {"fsName": "cephfs", "pool": "cephfs_data"}}, {"name": "ceph-rgw", "kind": "StorageClass", "data": {"endpoint": "xxx.xxx.xxx.xxx:xxxx", "poolPrefix": "default"}}, {"name": "rgw-admin-ops-user", "kind": "Secret", "data": {"accessKey": "<access-key>", "secretKey": "<secret-key>"}}]

      3. 将 JSON 输出保存到带有 .json 扩展名的文件

         注意

         要使 OpenShift Data Foundation 无缝工作，请确保使用 JSON 文件上传的参数（RGW 端点、CephFS 详细信息和 RBD 池等）在创建存储集群后在 RHCS 外部集群上保持不变。

      4. 在多租户部署中的 RHCS 集群已连接到带有较低版本的 OpenShift Data Foundation 部署时，运行命令。

         # python3 ceph-external-cluster-details-exporter.py --upgrade

   3. 单击 Browse 以选择并上传 JSON 文件。

      JSON 文件的内容填充并在文本框中显示。

   4. 点 Next

      只有上传 .json 文件后，Next 按钮才会启用。

5. 在 Review and create 页面中，检查所有详情是否正确：

   • 若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
6. 单击 Create StorageSystem。

1. 在 OpenShift Web 控制台中，导航到 Installed Operators → OpenShift Data Foundation → Storage System → ocs-external-storagecluster-storagesystem → Resources。
2. 验证 StorageCluster 的 Status 是否为 Ready 且具有绿色勾号。
3. 要验证 OpenShift Data Foundation、Pod 和 StorageClass 是否已成功安装，请参阅验证外部 Ceph 存储系统的 OpenShift Data Foundation 安装模式。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 将频道更新为 stable-4.11。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

   4. 将 Approval Strategy 选为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   5. 确保为 Console 插件 选择了 Enable 选项。
   6. 点 Install。

流程

1. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 单击 OpenShift Data Foundation，然后单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下选项：

   1. 为 Deployment 类型选项选择 Full Deployment。
   2. 从可用选项中选择 Connect a external storage platform。
   3. 从 Storage platform 列表中选择 IBM FlashSystem Storage。
   4. 点 Next。

4. 在 Create Storage class 页面中，提供以下信息：

   1. 为存储类输入一个名称。

      在创建块存储持久性卷时，请选择存储类 <storage_class_name> 以获得最佳性能。存储类允许到 FlashSystem 的直接 I/O 路径。

   2. 输入 IBM FlashSystem 连接的后续 g 详情：

      • IP 地址
      • 用户名
      • 密码
      • 池名称
   3. 在 卷模式中，选择 thick 或 thin。
   4. 点 Next。

5. 在 Capacity and nodes 页面中，提供所需的详情：

   1. 为 Requested capacity 选择一个值。

      可用的选项有 0.5 TiB、2 TiB 和 4 TiB。请求的容量在基础架构存储类上动态分配。

   2. 在三个不同的区域中至少选择三个节点。

      建议从每个节点至少 14 个 CPU 和 34 GiB RAM 开始。如果选择的节点与 OpenShift Data Foundation 的一个聚合的 30 个 CPU 和 72 GiB RAM 的要求不匹配，则会部署一个最小的集群。如需最低起始节点要求，请参阅规划指南中的资源要求部分。

   3. 点 Next。

6. 可选： 在 Security 和 network 页面中，提供必要详情：

   1. 若要启用加密，可选择为块存储和文件存储启用数据加密。

   2. 选择任意一个或两个加密级别：

      • Cluster-wide encryption 来加密整个集群（块存储和文件存储）。
      • Storage class encryption 以使用加密启用的存储类创建加密的持久性卷（仅限块）。

   3. 选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。

      1. 默认情况下，Key Management Service Provider 设置为 Vault。
      2. 输入 Vault Service Name、Vault 服务器的主机地址 ('https://<hostname 或 ip>')、端口号和 Token。

   4. 展开 Advanced Settings ，以根据您的 Vault 配置输入其他设置和证书详情：

      1. 在后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
      2. 可选：输入 TLS Server Name 和 Vault Enterprise Namespace。
      3. 通过上传相应的 PEM 编码证书文件提供 CA 证书、客户端证书和客户端私钥。
   5. 点击 Save。

   6. 如果使用一个单一网络，选择 Default (SDN)，如果使用多网络接口，选择 Custom (Multus)。

      1. 从下拉菜单中选择公共网络接口。
      2. 从下拉菜单中选择集群网络接口。备注：如果您只使用一个额外网络接口，请选择单个 NetworkAttachementDefinition，即ocs-public-cluster 用于公共网络接口，并将 Cluster Network Interface 留空。
   7. 点 Next。

7. 在 Review and create 页面中，检查所有详情是否正确：

   • 若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
8. 单击 Create StorageSystem。

流程

1. 列出当前在 openshift-monitoring 命名空间中运行的 pod 和 PVC。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d

2. 编辑监控 configmap。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   删除引用 OpenShift Data Foundation 存储类的所有 config 部分，如下例所示并保存。

   Before editing

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   After editing

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   在本例中，alertmanagerMain 和 prometheusK8s 监控组件使用 OpenShift Data Foundation PVC。

3. 列出使用 PVC 的 pod。

   在本例中，消耗 PVC 的 alertmanagerMain 和 prometheusK8s pod 处于 Terminating 状态。这些 pod 不再使用 OpenShift Data Foundation PVC后，您可以删除 PVC。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                                               READY   STATUS      RESTARTS AGE
   pod/alertmanager-main-0                            3/3     Terminating   0      10h
   pod/alertmanager-main-1                            3/3     Terminating   0      10h
   pod/alertmanager-main-2                            3/3     Terminating   0      10h
   pod/cluster-monitoring-operator-84cd9df668-zhjfn   1/1     Running       0      18h
   pod/grafana-5db6fd97f8-pmtbf                       2/2     Running       0      10h
   pod/kube-state-metrics-895899678-z2r9q             3/3     Running       0      10h
   pod/node-exporter-4njxv                            2/2     Running       0      18h
   pod/node-exporter-b8ckz                            2/2     Running       0      11h
   pod/node-exporter-c2vp5                            2/2     Running       0      18h
   pod/node-exporter-cq65n                            2/2     Running       0      18h
   pod/node-exporter-f5sm7                            2/2     Running       0      11h
   pod/node-exporter-f852c                            2/2     Running       0      18h
   pod/node-exporter-l9zn7                            2/2     Running       0      11h
   pod/node-exporter-ngbs8                            2/2     Running       0      18h
   pod/node-exporter-rv4v9                            2/2     Running       0      18h
   pod/openshift-state-metrics-77d5f699d8-69q5x       3/3     Running       0      10h
   pod/prometheus-adapter-765465b56-4tbxx             1/1     Running       0      10h
   pod/prometheus-adapter-765465b56-s2qg2             1/1     Running       0      10h
   pod/prometheus-k8s-0                               6/6     Terminating   1      9m47s
   pod/prometheus-k8s-1                               6/6     Terminating   1      9m47s
   pod/prometheus-operator-cbfd89f9-ldnwc             1/1     Running       0      43m
   pod/telemeter-client-7b5ddb4489-2xfpz              3/3     Running       0      10h
   
   NAME                                                      STATUS  VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-0   Bound    pvc-2eb79797-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-1   Bound    pvc-2ebeee54-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-2   Bound    pvc-2ec6a9cf-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-0        Bound    pvc-3162a80c-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-1        Bound    pvc-316e99e2-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h

4. 删除相关的 PVC。请确定删除所有消耗存储类的 PVC。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

流程

1. 编辑 configs.imageregistry.operator.openshift.io 对象，并删除 storage 部分中的内容。

   $ oc edit configs.imageregistry.operator.openshift.io

   编辑前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   编辑后

   . . . storage: emptyDir: {} . . .

   在本例中，PVC 称为 registry-cephfs-rwx-pvc，现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

流程

1. 删除命名空间中的 ClusterLogging 实例。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging 命名空间中的 PVC 现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m

   <pvc-name>

   是 PVC 的名称