第 5 章 使用本地存储设备部署的 OpenShift Data Foundation

流程

1. 从相关的 worker 节点中删除底层存储设备。

2. 验证相关的 OSD Pod 已移到 CrashLoopBackOff 状态。

   确定需要替换的 OSD，以及在其上调度 OSD 的 OpenShift Container Platform 节点。

   $ oc get -n openshift-storage pods -l app=rook-ceph-osd -o wide

   输出示例：

   rook-ceph-osd-0-6d77d6c7c6-m8xj6    0/1    CrashLoopBackOff    0    24h   10.129.0.16   compute-2   <none>           <none>
   rook-ceph-osd-1-85d99fb95f-2svc7    1/1    Running             0    24h   10.128.2.24   compute-0   <none>           <none>
   rook-ceph-osd-2-6c66cdb977-jp542    1/1    Running             0    24h   10.130.0.18   compute-1   <none>           <none>

   在本例中，rook-ceph-osd-0-6d77d6c7c6-m8xj6 需要替换，compute-2 是调度 OSD 的 OpenShift Container Platform 节点。

3. 缩减 OSD 部署，以替换 OSD。

   $ osd_id_to_remove=0

   $ oc scale -n openshift-storage deployment rook-ceph-osd-${osd_id_to_remove} --replicas=0

   其中，osd_id_to_remove 是 pod 名称中紧接在 rook-ceph-osd 前缀后面的整数。在本例中，部署名称为 rook-ceph-osd-0。

   输出示例：

   deployment.extensions/rook-ceph-osd-0 scaled

4. 验证 rook-ceph-osd pod 是否已终止。

   $ oc get -n openshift-storage pods -l ceph-osd-id=${osd_id_to_remove}

   输出示例：

   No resources found in openshift-storage namespace.

   重要

   如果 rook-ceph-osd pod 处于 terminating 状态超过几分钟，请使用 force 选项删除 pod。

   $ oc delete -n openshift-storage pod rook-ceph-osd-0-6d77d6c7c6-m8xj6 --grace-period=0 --force

   输出示例：

   warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
     pod "rook-ceph-osd-0-6d77d6c7c6-m8xj6" force deleted

5. 从集群中移除旧 OSD，以便您可以添加新 OSD。

   1. 删除所有旧的 ocs-osd-removal 任务。

      $ oc delete -n openshift-storage job ocs-osd-removal-job

      输出示例：

      job.batch "ocs-osd-removal-job" deleted

   2. 进入 openshift-storage 项目。

      $ oc project openshift-storage

   3. 从集群中移除旧 OSD。

      $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} -p FORCE_OSD_REMOVAL=false |oc create -n openshift-storage -f -

      FORCE_OSD_REMOVAL 值必须在有三个 OSD 的集群中更改为"true"，或者有足够空间的集群在移除 OSD 后恢复所有这三个数据副本。

      警告

      这一步会导致 OSD 完全从集群中移除。确保提供了 osd_id_to_remove 的正确值。

6. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

   状态为 Completed，确认 OSD 移除作业已成功。

   $ oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

7. 确保 OSD 移除已完成。

   $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

   输出示例：

   2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

   重要

   如果 ocs-osd-removal-job 失败并且 pod 不在预期的 Completed 状态，请检查 pod 日志来进一步调试。

   例如：

   # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

8. 如果在安装时启用了加密，在从相应 OpenShift Data Foundation 节点中删除的 OSD 设备中删除 dm-crypt 关联的 device-mapper 映射。

   1. 从 ocs-osd-removal-job pod 的日志中获取已替换 OSD 的持久性卷声明(PVC)名称。

      $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1  |egrep -i 'pvc|deviceset'

      输出示例：

      2021-05-12 14:31:34.666000 I | cephosd: removing the OSD PVC "ocs-deviceset-xxxx-xxx-xxx-xxx"

   2. 对于之前标识的每个节点，执行以下操作：

      1. 创建 debug pod 和 chroot 到存储节点上的主机。

         $ oc debug node/<node name>

         <node name>

         是节点的名称。

         $ chroot /host

      2. 根据上一步中标识的 PVC 名称，查找相关的设备名称。

         $ dmsetup ls| grep <pvc name>

         <pvc name>

         是 PVC 的名称。

         输出示例：

         ocs-deviceset-xxx-xxx-xxx-xxx-block-dmcrypt (253:0)

      3. 删除映射的设备。

         $ cryptsetup luksClose --debug --verbose <ocs-deviceset-name>

         <ocs-deviceset-name>

         是基于上一步中标识的 PVC 名称的相关设备名称。

         重要

         如果上述命令因为权限不足而卡住，请运行以下命令：

         • 按 CTRL+Z 退出上述命令。

         • 查找阻塞的进程的 PID。

           $ ps -ef | grep crypt

         • 使用 kill 命令终止进程。

           $ kill -9 <PID>

           <PID>

           是进程 ID。

         • 验证设备名称是否已移除。

           $ dmsetup ls

9. 查找需要删除的持久性卷(PV)。

   $ oc get pv -L kubernetes.io/hostname | grep <storageclass-name> | grep Released

   输出示例：

   local-pv-d6bf175b           1490Gi       RWO         Delete          Released            openshift-storage/ocs-deviceset-0-data-0-6c5pw      localblock      2d22h       compute-1

10. 删除 PV。

    $ oc delete pv <pv_name>

11. 向节点物理地添加新设备。

12. 跟踪与 deviceInclusionSpec 匹配的设备的 PV 置备。置备 PV 可能需要几分钟时间。

    $ oc -n openshift-local-storage describe localvolumeset localblock

    输出示例：

    [...]
    Status:
      Conditions:
        Last Transition Time:          2020-11-17T05:03:32Z
        Message:                       DiskMaker: Available, LocalProvisioner: Available
        Status:                        True
        Type:                          DaemonSetsAvailable
        Last Transition Time:          2020-11-17T05:03:34Z
        Message:                       Operator reconciled successfully.
        Status:                        True
        Type:                          Available
      Observed Generation:             1
      Total Provisioned Device Count: 4
    Events:
    Type    Reason      Age          From                Message
    ----    ------      ----         ----                -------
    Normal  Discovered  2m30s (x4    localvolumeset-     node.example.com -
            NewDevice   over 2m30s)  symlink-controller  found possible
                                                         matching disk,
                                                         waiting 1m to claim
    
    Normal  FoundMatch  89s (x4      localvolumeset-     node.example.com -
            ingDisk     over 89s)    symlink-controller  symlinking matching
                                                         disk

    调配 PV 后，为 PV 自动创建新的 OSD pod。

13. 删除 ocs-osd-removal 任务。

    $ oc delete -n openshift-storage job ocs-osd-removal-job

    输出示例：

    job.batch "ocs-osd-removal-job" deleted

验证步骤

1. 验证是否有新的 OSD 正在运行。

   $ oc get -n openshift-storage pods -l app=rook-ceph-osd

   输出示例：

   rook-ceph-osd-0-5f7f4747d4-snshw    1/1     Running     0          4m47s
   rook-ceph-osd-1-85d99fb95f-2svc7    1/1     Running     0          1d20h
   rook-ceph-osd-2-6c66cdb977-jp542    1/1     Running     0          1d20h

   重要

   如果新 OSD 在几分钟后没有显示 Running，请重启 rook-ceph-operator pod 来强制协调。

   $ oc delete pod -n openshift-storage -l app=rook-ceph-operator

   输出示例：

   pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

2. 验证是否创建了新 PVC。

   $ oc get -n openshift-storage pvc | grep localblock

   输出示例：

   ocs-deviceset-0-0-c2mqb   Bound    local-pv-b481410         1490Gi     RWO            localblock                    5m
   ocs-deviceset-1-0-959rp   Bound    local-pv-414755e0        1490Gi     RWO            localblock                    1d20h
   ocs-deviceset-2-0-79j94   Bound    local-pv-3e8964d3        1490Gi     RWO            localblock                    1d20h

3. 可选：如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   1. 识别运行新 OSD pod 的节点。

      $ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>

      <OSD-pod-name>

      是 OSD pod 的名称。

      例如：

      $ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm

      输出示例：

      NODE
      compute-1

   2. 对于上一步中确定的每个节点，请执行以下操作：

      1. 创建调试 pod，并为所选主机打开 chroot 环境。

         $ oc debug node/<node name>

         <node name>

         是节点的名称。

         $ chroot /host

      2. 检查 ocs-deviceset 名称旁边的 crypt 关键字。

         $ lsblk

4. 登录 OpenShift Web 控制台，再检查存储控制面板上的 OSD 状态。