管理并分配存储资源

流程

1. 点 Storage → StorageClasses。
2. 单击 Create Storage Class。
3. 输入存储类 Name 和 Description。

4. reclaim Policy 设置为 Delete 作为默认选项。使用这个设置。

   如果您在存储类中将重新声明策略改为 Retain，则持久性卷(PV)会处于 Released 状态，即使在删除持久性卷声明(PVC)后也是如此。

5. 卷绑定模式 设置为 WaitForConsumer 作为默认选项。

   如果您选择 Immediate 选项，则创建 PVC 时会立即创建 PV。

6. 选择 RBD 或 CephFS Provisioner 作为插件来调配持久卷。
7. 为您的工作负载 选择存储系统。

8. 从列表中选择现有 存储池，或创建新池。

   注意

   双向复制数据保护策略仅支持非默认 RBD 池。可以通过创建额外的池来使用双向复制。要了解副本 2 池的数据可用性和完整性注意事项，请参阅 知识库文章。

   创建新池

   1. 单击 Create New Pool。
   2. 输入 池名称。
   3. 选择 2-way-Replication 或 3-way-Replication 作为数据保护策略。

   4. 如果需要压缩数据，请选择 启用压缩。

      启用压缩可能会影响应用程序性能，并在已压缩或加密数据时可能会证明无效。在启用压缩前写入的数据不会被压缩。

   5. 单击 Create 以创建新存储池。
   6. 创建池后，单击 Finish。

9. 可选： 选择 启用加密 复选框。
10. 点 Create 创建存储类。

流程

1. 使用以下命令启用单个副本功能：

   Copy to Clipboard Toggle word wrap

   $ oc patch storagecluster ocs-storagecluster -n openshift-storage --type json --patch '[{ "op": "replace", "path": "/spec/managedResources/cephNonResilientPools/enable", "value": true }]'

2. 验证 storagecluster 是否处于 Ready 状态：

   Copy to Clipboard Toggle word wrap

   $ oc get storagecluster

   输出示例：

   Copy to Clipboard Toggle word wrap

   NAME                 AGE   PHASE   EXTERNAL   CREATED AT             VERSION
   ocs-storagecluster   10m   Ready              2024-02-05T13:56:15Z   4.17.0

3. 为每个故障域创建新的 cephblockpools。验证 cephblockpools 是否处于 Ready 状态：

   Copy to Clipboard Toggle word wrap

   $ oc get cephblockpools

   输出示例：

   Copy to Clipboard Toggle word wrap

   NAME                                          PHASE
   ocs-storagecluster-cephblockpool              Ready
   ocs-storagecluster-cephblockpool-us-east-1a   Ready
   ocs-storagecluster-cephblockpool-us-east-1b   Ready
   ocs-storagecluster-cephblockpool-us-east-1c   Ready

4. 验证新存储类是否已创建：

   Copy to Clipboard Toggle word wrap

   $ oc get storageclass

   输出示例：

   Copy to Clipboard Toggle word wrap

   NAME                                        PROVISIONER                             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   gp2 (default)                               kubernetes.io/aws-ebs                   Delete          WaitForFirstConsumer   true                   104m
   gp2-csi                                     ebs.csi.aws.com                         Delete          WaitForFirstConsumer   true                   104m
   gp3-csi                                     ebs.csi.aws.com                         Delete          WaitForFirstConsumer   true                   104m
   ocs-storagecluster-ceph-non-resilient-rbd   openshift-storage.rbd.csi.ceph.com      Delete          WaitForFirstConsumer   true                   46m
   ocs-storagecluster-ceph-rbd                 openshift-storage.rbd.csi.ceph.com      Delete          Immediate              true                   52m
   ocs-storagecluster-cephfs                   openshift-storage.cephfs.csi.ceph.com   Delete          Immediate              true                   52m
   openshift-storage.noobaa.io                 openshift-storage.noobaa.io/obc         Delete          Immediate              false                  50m

5. 创建新 OSD pod；3 osd-prepare pod 和 3 个额外的 pod。验证新 OSD pod 是否处于 Running 状态：

   Copy to Clipboard Toggle word wrap

   $ oc get pods | grep osd

   输出示例：

   Copy to Clipboard Toggle word wrap

   rook-ceph-osd-0-6dc76777bc-snhnm                                  2/2     Running     0               9m50s
   rook-ceph-osd-1-768bdfdc4-h5n7k                                   2/2     Running     0               9m48s
   rook-ceph-osd-2-69878645c4-bkdlq                                  2/2     Running     0               9m37s
   rook-ceph-osd-3-64c44d7d76-zfxq9                                  2/2     Running     0               5m23s
   rook-ceph-osd-4-654445b78f-nsgjb                                  2/2     Running     0               5m23s
   rook-ceph-osd-5-5775949f57-vz6jp                                  2/2     Running     0               5m22s
   rook-ceph-osd-prepare-ocs-deviceset-gp2-0-data-0x6t87-59swf       0/1     Completed   0               10m
   rook-ceph-osd-prepare-ocs-deviceset-gp2-1-data-0klwr7-bk45t       0/1     Completed   0               10m
   rook-ceph-osd-prepare-ocs-deviceset-gp2-2-data-0mk2cz-jx7zv       0/1     Completed   0               10m

流程

1. 为镜像 Registry 创建一个持久性卷声明。

   1. 在 OpenShift Web 控制台中，点击 Storage → Persistent Volume Claims。
   2. 将 Project 设置为 openshift-image-registry。

   3. 单击 Create Persistent Volume Claim。

      1. 从上面检索的可用存储类列表中，使用 provisioner openshift-storage.cephfs.csi.ceph.com 指定存储类。
      2. 指定持久性卷声明 名称，如 ocs4registry。
      3. 指定 Shared Access (RWX) 的访问模式。
      4. 大小 至少为 100 GB。

      5. 点 Create。

         等待新持久卷声明的状态变为 Bound。

2. 将集群的 Image Registry 配置为使用新的持久性卷声明。

   1. 点 Administration → Custom Resource Definitions。
   2. 点与 imageregistry.operator.openshift.io 组关联的 Config 自定义资源定义。
   3. 单击 实例选项卡。
   4. 在集群实例旁边，点 Action Menu (&&) → Edit Config。

   5. 添加新的持久性卷声明作为镜像 Registry 的持久性存储。

      1. 在 spec: 下添加以下内容，根据需要替换现有的 storage: 部分。

         Copy to Clipboard Toggle word wrap

           storage:
             pvc:
               claim: <new-pvc-name>

         例如：

         Copy to Clipboard Toggle word wrap

           storage:
             pvc:
               claim: ocs4registry

      2. 点 Save。

3. 验证新配置是否正在使用。

   1. 点 Workloads → Pods。
   2. 将 Project 设置为 openshift-image-registry。
   3. 验证新的 image-registry github pod 的状态是否为 Running，并且前面的 image-registry channel pod 终止。
   4. 点新 image-registry github pod 查看 pod 详情。
   5. 向下滚动到 Volumes，再验证 registry-storage 卷是否具有与您的新持久性卷声明匹配的 Type，如 ocs4registry。

流程

1. 按照创建对象 Bucket Claim 中的步骤创建 Object BucketClaim。

2. 创建 image-registry-private-configuration-user secret。

   1. 进入 OpenShift web-console。
   2. Click ObjectBucketClaim -→ ObjectBucketClaim Data.
   3. 在 ObjectBucketClaim 数据 中，在 openshift-image-registry 命名空间中查找 MCG 访问密钥和 MCG secret 密钥。

   4. 使用以下命令创建 secret：

      Copy to Clipboard Toggle word wrap

      $ oc create secret generic image-registry-private-configuration-user --from-literal=REGISTRY_STORAGE_S3_ACCESSKEY=<MCG Accesskey> --from-literal=REGISTRY_STORAGE_S3_SECRETKEY=<MCG Secretkey> --namespace openshift-image-registry

3. 将 Image Registry Operator 的 managementState 状态更改为 Managed。

   Copy to Clipboard Toggle word wrap

   $ oc patch configs.imageregistry.operator.openshift.io/cluster --type merge -p '{"spec": {"managementState": "Managed"}}'

4. 编辑 Image Registry Operator 配置文件的 spec.storage 部分：

   1. 从 Web 控制台获取 Object Bucket Claim Data 部分下的 unique-bucket-name 和 regionEndpoint，您也可以从命令获取 regionEndpoint 和 unique-bucket-name 的信息：

      Copy to Clipboard Toggle word wrap

       $ oc describe  noobaa

   2. 如果这个情况，添加 regionEndpoint 作为 http://<Endpoint-name>:<port >

      • StorageClass 是 ceph-rgw storageclass 和
      • 端点指向 openshift-storage 命名空间中的内部 SVC。

   3. 在更改 Operator registry 配置文件后，image-registry pod 会生成。

      Copy to Clipboard Toggle word wrap

      $ oc edit configs.imageregistry.operator.openshift.io -n openshift-image-registry
      apiVersion: imageregistry.operator.openshift.io/v1
      kind: Config
      metadata:
      [..]
      name: cluster
      spec:
      [..]
      storage:
      s3:
      
        bucket: <Unique-bucket-name>
      
        region: us-east-1 (Use this region as default)
      
        regionEndpoint: https://<Endpoint-name>:<port>
      
        virtualHostedStyle: false

5. 将镜像 registry 设置重置为默认值。

   Copy to Clipboard Toggle word wrap

   $ oc get pods -n openshift-image-registry

流程

1. 在 OpenShift Web 控制台中，前往 Workloads → Config Maps。
2. 将 Project 下拉菜单设置为 openshift-monitoring。
3. 单击 Create Config Map。

4. 使用以下示例定义新的 cluster-monitoring-config Config Map。

   将尖括号(< , &gt;)中的内容替换为您自己的值，例如 retention: 24h 或 storage: 40Gi。

   将 storageClassName 替换为使用 provisioner openshift-storage.rbd.csi.ceph.com 的存储类。在以下示例中，storageclass 的名称为 ocs-storagecluster-ceph-rbd。

   cluster-monitoring-config Config Map 示例

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
         prometheusK8s:
           retention: <time to retain monitoring files, for example 24h>
           volumeClaimTemplate:
             metadata:
               name: ocs-prometheus-claim
             spec:
               storageClassName: ocs-storagecluster-ceph-rbd
               resources:
                 requests:
                   storage: <size of claim, e.g. 40Gi>
         alertmanagerMain:
           volumeClaimTemplate:
             metadata:
               name: ocs-alertmanager-claim
             spec:
               storageClassName: ocs-storagecluster-ceph-rbd
               resources:
                 requests:
                   storage: <size of claim, e.g. 40Gi>

5. 单击 Create 以保存并创建 Config Map。

验证步骤

1. 验证持久卷声明是否已绑定到 pod。

   1. 进入 Storage → Persistent Volume Claims。
   2. 将 Project 下拉菜单设置为 openshift-monitoring。

   3. 验证 5 持久性卷声明是否可见，状态为 Bound，附加到三个 alertmanager-main fluentd pod，以及两个 prometheus-k8s fluentd pod。

      图 4.1. 监控创建和绑定的存储

      

2. 验证新的 alertmanager-main channel pod 的状态是否为 Running。

   1. 进入 Workloads → Pods。
   2. 点新的 alertmanager-main fluentd pod 查看 pod 详情。

   3. 向下滚动到 Volumes，再验证卷是否具有 Type (ocs-alertmanager-claim )，它与您的新持久性卷声明匹配，如 ocs-alertmanager-claim-alertmanager-main-0。

      图 4.2. 附加到 alertmanager-main channel pod 的持久性卷声明

      

3. 验证新的 prometheus-k8s fluentd pod 的状态是否为 Running。

   1. 点新的 prometheus-k8s netobserv pod 查看 pod 详情。

   2. 向下滚动到 Volumes，再验证卷是否具有 Type (ocs-prometheus-claim )，它与您的新持久性卷声明匹配，如 ocs-prometheus-claim-prometheus-k8s-0。

      图 4.3. 附加到 prometheus-k8s fluentd pod 的持久性卷声明

      

流程

1. 使用命令行界面或用户界面部署 storagecluster。

2. 标记应用程序命名空间。

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: Namespace
   metadata:
        name: <desired_name>
        labels:
             storagequota: <desired_label>

   <desired_name>

   为 application 命名空间指定一个名称，如 quota-rbd。

   <desired_label>

   为存储配额指定一个标签，如 storagequota1。

3. 编辑 storagecluster，以在存储类上设置配额限制。

   Copy to Clipboard Toggle word wrap

   $ oc edit storagecluster -n openshift-storage <ocs_storagecluster_name>

   <ocs_storagecluster_name>

   指定存储集群的名称。

4. 在 StorageCluster.Spec 中为 Overprovision Control 添加一个条目：

   Copy to Clipboard Toggle word wrap

   apiVersion: ocs.openshift.io/v1
   kind: StorageCluster
   spec:
    [...]
        overprovisionControl:
        - capacity: <desired_quota_limit>
             storageClassName: <storage_class_name>
             quotaName: <desired_quota_name>
             selector:
               labels:
                      matchLabels:
                       storagequota: <desired_label>
   [...]

   <desired_quota_limit>

   为存储类指定所需的配额限制，例如 27Ti。

   <storage_class_name>

   指定要设置配额限制的存储类的名称，如 ocs-storagecluster-ceph-rbd。

   <desired_quota_name>

   为存储配额指定一个名称，如 quota1。

   <desired_label>

   为存储配额指定一个标签，如 storagequota1。

5. 保存修改后的 storagecluster。

6. 验证是否定义了 clusterresourcequota。

   注意

   期望 clusterresourcequota 带有您在上一步中定义的 quotaName，例如 quota1。

   Copy to Clipboard Toggle word wrap

   $ oc get clusterresourcequota -A
   
   $ oc describe clusterresourcequota -A

流程

1. 在 OpenShift Web 控制台中，点 Compute → Nodes，然后选择必须污点的节点。
2. 在 Details 页面中，单击 Edit taint。
3. 在 Key <nodes.openshift.ocs.io/storage>, Value <true> 和 Effect<Noschedule> 字段中输入值。
4. 点 Save。

流程

1. 为要使用的应用程序创建一个持久性卷声明(PVC)。

   1. 在 OpenShift Web 控制台中，点击 Storage → Persistent Volume Claims。
   2. 为应用 Pod 设置 Project。

   3. 单击 Create Persistent Volume Claim。

      1. 指定由 OpenShift Data Foundation 提供的存储类。
      2. 指定 PVC 名称，如 myclaim。

      3. 选择所需的 Access Mode。

         注意

         IBM FlashSystem 不支持 Access Mode,Shared access (RWX)。

      4. 对于 Rados 块设备(RBD)，如果 Access 模式是 ReadWriteOnce (RWO)，请选择所需的 卷模式。默认卷模式是 Filesystem。
      5. 根据应用程序要求指定一个 Size。
      6. 点 Create 并等待 PVC 处于 Bound 状态。

2. 配置新的或现有的应用容器集以使用新的 PVC。

   • 对于新应用程序 pod，执行以下步骤：

     1. 点 Workloads →Pods。
     2. 创建新应用 pod。

     3. 在 spec: 部分下，添加 volumes: 部分，将新 PVC 添加为应用 Pod 的卷。

        Copy to Clipboard Toggle word wrap

        volumes:
          - name: <volume_name>
            persistentVolumeClaim:
              claimName: <pvc_name>

        例如：

        Copy to Clipboard Toggle word wrap

        volumes:
          - name: mypd
            persistentVolumeClaim:
              claimName: myclaim

   • 对于现有应用程序 pod，执行以下步骤：

     1. 点 Workloads →Deployment Configs。
     2. 搜索与应用程序 pod 关联的所需部署配置。
     3. 点击其 Action 菜单(OCPBUGS) → Edit Deployment Config。

     4. 在 spec: 部分下，添加 volumes: 部分，将新 PVC 添加为应用程序 pod 的卷，然后点 Save。

        Copy to Clipboard Toggle word wrap

        volumes:
          - name: <volume_name>
            persistentVolumeClaim:
              claimName: <pvc_name>

        例如：

        Copy to Clipboard Toggle word wrap

        volumes:
          - name: mypd
            persistentVolumeClaim:
              claimName: myclaim

3. 验证新配置是否正在使用。

   1. 点 Workloads → Pods。
   2. 为应用 Pod 设置 Project。
   3. 验证应用 Pod 的状态是否为 Running。
   4. 单击应用 Pod 名称，以查看 Pod 详情。
   5. 向下滚动到 Volumes 部分，再验证卷的 Type 与您的新持久卷声明匹配，如 myclaim。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Storage → Persistent Volume Claims
3. 使用 Filter 文本框搜索所需的 PVC 名称。您还可以根据 Name 或 Label 过滤 PVC 列表来缩小列表范围
4. 检查与所需 PVC 对应的 Status 列。
5. 点所需的 Name 查看 PVC 详情。

流程

1. 在 OpenShift Web 控制台中，点 Storage → Data Foundation。
2. 在 Storage systems 选项卡中，选择 storage 系统，然后点 Overview → Block and File。
3. 找到 Inventory 卡，查看 PVC 数量并显示错误。
4. 点 Storage → Persistent Volume Claims
5. 使用 Filter 文本框搜索所需的 PVC。
6. 点 PVC 名称并导航到 Events
7. 根据需要或按指示处理事件。

流程

1. 在 OpenShift Web 控制台中，导航到 Storage → Persistent Volume Claims。
2. 点击您要扩展的持久性卷声明旁边的 Action Menu (swig)。

3. 点 Expand PVC ：

   

4. 选择持久性卷声明的新大小，然后点 Expand ：

   

5. 要验证扩展，请导航到 PVC 的详情页面，并验证 Capacity 字段是否具有请求的正确大小。

   注意

   在基于 Ceph RADOS 块设备(RBD)扩展 PVC 时，如果 PVC 尚未附加到 pod，Condition type 在 PVC 的详细信息页面中是 FileSystemResizePending。挂载卷后，文件系统大小调整成功，新的大小反映在 Capacity 字段中。

流程

1. 获取 PVC 详情。

   Copy to Clipboard Toggle word wrap

   $ oc get pvc data-pvc

   Copy to Clipboard Toggle word wrap

   NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                          AGE
   data-pvc  Bound    pvc-f37b8582-4b04-4676-88dd-e1b95c6abf74   1Gi        RWO            ocs-storagecluster-ceph-rbd           20h

2. 将注解 reclaimspace.csiaddons.openshift.io/schedule=@monthly 添加到 PVC 以创建 reclaimspacecronjob。

   Copy to Clipboard Toggle word wrap

   $ oc annotate pvc data-pvc "reclaimspace.csiaddons.openshift.io/schedule=@monthly"

   Copy to Clipboard Toggle word wrap

   persistentvolumeclaim/data-pvc annotated

3. 验证 reclaimspacecronjob 是否已创建格式为 "< pvc-name>-xxxxxxx"。

   Copy to Clipboard Toggle word wrap

   $ oc get reclaimspacecronjobs.csiaddons.openshift.io

   Copy to Clipboard Toggle word wrap

   NAME                    SCHEDULE    SUSPEND   ACTIVE   LASTSCHEDULE   AGE
   data-pvc-1642663516     @monthly                                      3s

4. 修改计划以自动运行此作业。

   Copy to Clipboard Toggle word wrap

   $ oc annotate pvc data-pvc "reclaimspace.csiaddons.openshift.io/schedule=@weekly" --overwrite=true

   Copy to Clipboard Toggle word wrap

   persistentvolumeclaim/data-pvc annotated

5. 验证 reclaimspacecronjob 的调度是否已修改。

   Copy to Clipboard Toggle word wrap

   $ oc get reclaimspacecronjobs.csiaddons.openshift.io

   Copy to Clipboard Toggle word wrap

   NAME                  SCHEDULE    SUSPEND   ACTIVE   LASTSCHEDULE   AGE
   data-pvc-1642664617   @weekly                                       3s

流程

1. 创建并应用以下自定义资源以回收空间操作：

   Copy to Clipboard Toggle word wrap

   apiVersion: csiaddons.openshift.io/v1alpha1
   kind: ReclaimSpaceJob
   metadata:
     name: sample-1
   spec:
     target:
       persistentVolumeClaim: pvc-1
     timeout: 360

   其中,

   target

   指明执行操作的卷目标。

   persistentVolumeClaim

   PersistentVolumeClaim 的名称。

   backOfflimit

   指定在将重新声明空间操作 标记为失败 前的最大重试次数。默认值为 6。允许的最大值和最小值分别为 60 和 0。

   retryDeadlineSeconds

   指定操作可能会立即停用的时间（以秒为单位），它相对于开始时间。该值必须是正整数。默认值为 600 秒，允许的最大值为 1800 秒。

   Timeout （超时）

   指定发送到 CSI 驱动程序的 grpc 请求超时（以秒为单位）。如果没有指定超时值，则默认为全局重新声明空间超时的值。超时允许的最小值为 60。

2. 在完成操作后删除自定义资源。

流程

1. 创建并应用以下自定义资源以回收空间操作

   Copy to Clipboard Toggle word wrap

   apiVersion: csiaddons.openshift.io/v1alpha1
   kind: ReclaimSpaceCronJob
   metadata:
     name: reclaimspacecronjob-sample
   spec:
     jobTemplate:
       spec:
         target:
           persistentVolumeClaim: data-pvc
         timeout: 360
     schedule: '@weekly'
     concurrencyPolicy: Forbid

   其中,

   concurrencyPolicy

   描述在 ReclaimSpaceCronJob 调度新 ReclaimSpaceJob 时的更改，而以前的 ReclaimSpaceJob 仍在运行。默认 Forbid 会阻止启动新的作业，而 replace 可用于删除可能处于故障状态的正在运行的作业并创建一个新作业。

   failedJobsHistoryLimit

   指定为故障排除保留失败的 ReclaimSpaceJobs 数量。

   jobTemplate

   指定 ReclaimSpaceJob.spec 结构，它描述了所请求 ReclaimSpaceJob 操作的详细信息。

   successfulJobsHistoryLimit

   指定成功 ReclaimSpaceJob 操作的数量。

   调度

   指定重复操作请求的 and/或间隔，其格式与 Kubernetes CronJobs 相同。

2. 在不再需要执行重新声明空间操作时，或者删除目标 PVC 时，删除 ReclaimSpaceCronJob 自定义资源。

流程

1. 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。

2. 要创建克隆，请执行以下操作之一：

   • 在所需 PVC 旁边，点 Action 菜单 (&&) → Clone PVC。
   • 点击您要克隆的 PVC，然后点击 Actions → Clone PVC。
3. 输入克隆的 Name。

4. 选择您选择的访问模式。

   重要

   ReadOnlyMany (ROX)访问模式是一个开发者预览功能，受开发人员预览支持限制。开发人员预览版本不应在生产环境中运行，且不受红帽客户门户网站问题单管理系统的支持。如果您需要 ReadOnlyMany 功能的帮助，请联络 ocs-devpreview@redhat.com 邮件列表和红帽开发团队成员将根据可用性和工作计划尽快为您提供协助。请参阅使用新的只读访问模式创建克隆或恢复快照 以使用 ROX 访问模式。

5. 输入克隆所需的大小。

6. 选择您要在其中创建克隆的存储类。

   存储类可以是任何 RBD 存储类，它不一定与父 PVC 相同。

7. 单击 Clone。您将被重定向到新的 PVC 详情页面。

8. 等待克隆的 PVC 状态变为 Bound。

   克隆的 PVC 现在可供 pod 使用。这个克隆的 PVC 独立于其 dataSource PVC。

流程

1. 修补 storagecluster，将默认 CephFS 数据池更改为 replica-2。

   Copy to Clipboard Toggle word wrap

   $ oc patch storagecluster ocs-storagecluster -n openshift-storage --type json --patch '[{ "op": "replace", "path": "/spec/managedResources/cephFilesystems/dataPoolSpec/replicated/size", "value": 2 }]'
   storagecluster.ocs.openshift.io/ocs-storagecluster patched

   Copy to Clipboard Toggle word wrap

   $ oc get cephfilesystem ocs-storagecluster-cephfilesystem -o=jsonpath='{.spec.dataPools}' | jq
   [
     {
       "application": "",
       "deviceClass": "ssd",
       "erasureCoded": {
         "codingChunks": 0,
         "dataChunks": 0
       },
       "failureDomain": "zone",
       "mirroring": {},
       "quotas": {},
       "replicated": {
         "replicasPerFailureDomain": 1,
         "size": 2,
         "targetSizeRatio": 0.49
       },
       "statusCheck": {
         "mirror": {}
       }
     }
   ]

2. 检查池详细信息。

   Copy to Clipboard Toggle word wrap

   $ ceph osd pool ls | grep filesystem
   ocs-storagecluster-cephfilesystem-metadata
   ocs-storagecluster-cephfilesystem-data0

流程

1. 点 Storage → StorageClasses → Create Storage Class。
2. 选择 CephFS Provisioner。

3. 在 存储池 下，单击 Create new storage pool。

   1. 填写 Create Storage Pool 字段。
   2. 在 数据保护策略下，选择 双向复制。
   3. 确认存储池创建
4. 在 Storage Class 创建表单中，选择新创建的存储池。
5. 确认存储类创建。

验证

1. 点 Storage → Data Foundation。
2. 在 Storage systems 选项卡中，选择新的存储系统。
3. 存储系统的 Details 选项卡反映了您在创建过程中选择的正确卷和设备类型

流程

1. 在 OpenShift Web 控制台中，点 Storage → Persistent Volume Claims
2. 将 Project 设置为 openshift-storage。

3. 点 Create PersistentVolumeClaim。

   1. 指定 Storage Class,ocs-storagecluster-ceph-nfs。
   2. 指定 PVC 名称，例如 my-nfs-export。
   3. 选择所需的 Access Mode。
   4. 根据应用程序要求指定一个 Size。

   5. 选择 卷模式 作为文件系统。

      注： NFS PVC 不支持 Block 模式

   6. 点 Create 并等待 PVC 处于 Bound 状态。

流程

1. 在 OpenShift Container Platform Web 控制台中导航至 Workloads → Pods。
2. 点 Create Pod 以创建新应用程序 pod。
3. 在 metadata 部分下添加一个名称。例如： nfs-export-example，其 namespace 为 openshift-storage。

4. 在 spec: 部分，使用 image 和 volumeMounts 部分添加 containers: 部分：

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: Pod
   metadata:
    name: nfs-export-example
    namespace: openshift-storage
   spec:
    containers:
      - name: web-server
        image: nginx
        volumeMounts:
          - name: <volume_name>
            mountPath: /var/lib/www/html

   例如：

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: Pod
   metadata:
    name: nfs-export-example
    namespace: openshift-storage
   spec:
    containers:
      - name: web-server
        image: nginx
        volumeMounts:
          - name: nfs-export-pvc
            mountPath: /var/lib/www/html

5. 在 spec: 部分下，添加 volumes: 部分，将 NFS PVC 添加为应用程序 pod 的卷：

   Copy to Clipboard Toggle word wrap

   volumes:
     - name: <volume_name>
       persistentVolumeClaim:
         claimName: <pvc_name>

   例如：

   Copy to Clipboard Toggle word wrap

   volumes:
     - name: nfs-export-pvc
       persistentVolumeClaim:
         claimName: my-nfs-export

流程

1. 启用 nfs 标志后，singe-server CephNFS 由 Rook 部署。您需要获取要在下一步中使用的 nfs-ganesha 服务器的 ceph_nfs 字段的值：

   Copy to Clipboard Toggle word wrap

   $ oc get pods -n openshift-storage | grep rook-ceph-nfs

   Copy to Clipboard Toggle word wrap

   $ oc describe pod  <name of the rook-ceph-nfs pod> | grep ceph_nfs

   例如：

   Copy to Clipboard Toggle word wrap

   $ oc describe pod rook-ceph-nfs-ocs-storagecluster-cephnfs-a-7bb484b4bf-bbdhs | grep ceph_nfs
     ceph_nfs=my-nfs

2. 通过创建 Kubernetes LoadBalancer 服务，在 OpenShift 集群外公开 NFS 服务器。以下示例创建了 LoadBalancer 服务，并引用 OpenShift Data Foundation 创建的 NFS 服务器。

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: Service
   metadata:
    name: rook-ceph-nfs-ocs-storagecluster-cephnfs-load-balancer
    namespace: openshift-storage
   spec:
    ports:
      - name: nfs
        port: 2049
    type: LoadBalancer
    externalTrafficPolicy: Local
    selector:
      app: rook-ceph-nfs
      ceph_nfs: <my-nfs>
      instance: a

   将 <my-nfs > 替换为在第 1 步中获取的值。

3. 收集连接信息。外部客户端需要连接到导出的信息来自为 PVC 创建的持久性卷(PV)，以及上一步中创建的 LoadBalancer 服务的状态。

   1. 从 PV 获取共享路径。

      1. 获取与 NFS 导出的 PVC 关联的 PV 名称：

         Copy to Clipboard Toggle word wrap

         $ oc get pvc <pvc_name> --output jsonpath='{.spec.volumeName}'
         pvc-39c5c467-d9d3-4898-84f7-936ea52fd99d

         将 <pvc_name > 替换为您自己的 PVC 名称。例如：

         Copy to Clipboard Toggle word wrap

         oc get pvc pvc-39c5c467-d9d3-4898-84f7-936ea52fd99d --output jsonpath='{.spec.volumeName}'
         pvc-39c5c467-d9d3-4898-84f7-936ea52fd99d

      2. 使用前面获取的 PV 名称获取 NFS 导出的共享路径：

         Copy to Clipboard Toggle word wrap

         $ oc get pv pvc-39c5c467-d9d3-4898-84f7-936ea52fd99d --output jsonpath='{.spec.csi.volumeAttributes.share}'
         /0001-0011-openshift-storage-0000000000000001-ba9426ab-d61b-11ec-9ffd-0a580a800215

   2. 获取 NFS 服务器的入口地址。服务的入口状态可能有多个地址。选择外部客户端所需的用途。在以下示例中，只有一个地址：主机名 ingress-id.somedomain.com。

      Copy to Clipboard Toggle word wrap

      $ oc -n openshift-storage get service rook-ceph-nfs-ocs-storagecluster-cephnfs-load-balancer --output jsonpath='{.status.loadBalancer.ingress}'
      [{"hostname":"ingress-id.somedomain.com"}]

4. 使用上一步中的共享路径和入口地址连接外部客户端。以下示例将导出挂载到客户端的目录路径 /export/mount/path ：

   Copy to Clipboard Toggle word wrap

   $ mount -t nfs4 -o proto=tcp ingress-id.somedomain.com:/0001-0011-openshift-storage-0000000000000001-ba9426ab-d61b-11ec-9ffd-0a580a800215 /export/mount/path

   如果这无法立即工作，则可能是 Kubernetes 环境仍需要时间来配置网络资源，以允许到 NFS 服务器的入口。

1. 停止所有 IO。

2. 将 全满比率 增加到 0.92 ：

   Copy to Clipboard Toggle word wrap

   $ odf set full 0.92

3. 等待集群重新平衡发生。集群重新平衡完成后，将 full ratio 返回其原始值 0.85 ：

   Copy to Clipboard Toggle word wrap

   $ odf set full 0.85