9.3. 使用本地存储设备删除置备失败或不需要的 Ceph OSD

流程

1. 假如，通过将 OSD 部署中的副本扩展到 0 来标记 OSD 停机。如果 OSD 已因为失败而停机，您可以跳过这一步。

   # oc scale deployment rook-ceph-osd-<osd-id> --replicas=0

2. 从集群移除出现故障的 OSD。

   # failed_osd_id=<osd_id>
   
   # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=$failed_osd_id | oc create -f -

   其中，FAILED_OSD_ID 是 pod 名称中紧接在 rook-ceph-osd 前缀后面的整数。

3. 通过检查日志来验证 OSD 是否已成功移除。

   # oc logs -n openshift-storage ocs-osd-removal-$<failed_osd_id>-<pod-suffix>

4. 可选：如果您遇到错误 cephosd:osd.0 is not ok to destroy from the ocs-osd-removal-job pod in OpenShift Container Platform，请参阅在 删除失败或不需要的 Ceph OSD 时对错误 cephosd:osd.0 进行故障排除。

5. 删除与故障 OSD 关联的持久性卷声明(PVC)资源。

   1. 获取与故障 OSD 关联的 PVC。

      # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-<osd-id> | grep ceph.rook.io/pvc

   2. 获取与 PVC 关联的持久性卷 (PV)。

      # oc get -n openshift-storage pvc <pvc-name>

   3. 获取失败的设备名称。

      # oc get pv <pv-name-from-above-command> -oyaml | grep path

   4. 获取与故障 OSD 关联的 prepare-pod。

      # oc describe -n openshift-storage pvc ocs-deviceset-0-0-nvs68 | grep Mounted

   5. 在删除关联的 PVC 前，删除 osd-prepare pod。

      # oc delete -n openshift-storage pod <osd-prepare-pod-from-above-command>

   6. 删除与故障 OSD 关联的 PVC。

      # oc delete -n openshift-storage pvc <pvc-name-from-step-a>

6. 从 LocalVolume 自定义资源 (CR)中删除失败的设备条目。

   1. 使用失败设备登录到节点。

      # oc debug node/<node_with_failed_osd>

   2. 为失败的设备名称记录 /dev/disk/by-id/<id>。

      # ls -alh /mnt/local-storage/localblock/

7. 可选：在以下情况下，Local Storage Operator 用于置备 OSD，使用 {osd-id} 登录机器并删除设备符号链接。

   # oc debug node/<node_with_failed_osd>

   1. 获取故障设备名称的 OSD 符号链接。

      # ls -alh /mnt/local-storage/localblock

   2. 删除符号链接。

      # rm /mnt/local-storage/localblock/<failed-device-name>

8. 删除与 OSD 关联的 PV。