Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

5.3. 替换 IBM Power 系统上的操作或失败存储设备

您可以使用 IBM Power Systems 上的本地存储设备替换 OpenShift Container Storage 中部署的对象存储设备(OSD)。当需要替换底层存储设备时，请使用这个步骤。

先决条件

  • 确保数据具有弹性。

    • 在 OpenShift Web 控制台中，导航到 Storage Overview。
    • 在 Status 卡中的 Persistent Storage 下，确认 Data Resiliency 有一个绿色勾号标记。

流程

  1. 确定需要替换的 OSD，以及在其上调度 OSD 的 OpenShift Container Platform 节点。 

    $ oc get -n openshift-storage pods -l app=rook-ceph-osd -o wide
    Copy to Clipboard Toggle word wrap

    输出示例： 

    rook-ceph-osd-0-86bf8cdc8-4nb5t   0/1     crashLoopBackOff   0   24h   10.129.2.26     worker-0     <none>       <none>
rook-ceph-osd-1-7c99657cfb-jdzvz   1/1     Running   0          24h     10.128.2.46     worker-1     <none>       <none>
rook-ceph-osd-2-5f9f6dfb5b-2mnw9    1/1     Running   0          24h     10.131.0.33    worker-2     <none>       <none>
    Copy to Clipboard Toggle word wrap

    在本例中，需要替换 rook-ceph-osd-0-86bf8cdc8-4nb5t，worker-0 是调度 OSD 的 RHOCP 节点。

    注意

    如果要更换的 OSD 处于健康状态，则 Pod 的状态将为 Running。

  2. 缩减 OSD 部署，以替换 OSD。 

    $ osd_id_to_remove=0
$ oc scale -n openshift-storage deployment rook-ceph-osd-${osd_id_to_remove} --replicas=0
    Copy to Clipboard Toggle word wrap

    其中，osd_id_to_remove 是 pod 名称中紧接在 rook-ceph-osd 前缀后面的整数。在本例中，部署名称为 rook-ceph-osd-0。

    输出示例： 

    deployment.apps/rook-ceph-osd-0 scaled
    Copy to Clipboard Toggle word wrap

  3. 验证 rook-ceph-osd pod 是否已终止。 

    $ oc get -n openshift-storage pods -l ceph-osd-id=${osd_id_to_remove}
    Copy to Clipboard Toggle word wrap

    输出示例： 

    No resources found in openshift-storage namespace.
    Copy to Clipboard Toggle word wrap
    注意

    如果 rook-ceph-osd pod 处于 terminating 状态，请使用 force 选项删除 pod。 

    $ oc delete -n openshift-storage pod rook-ceph-osd-0-86bf8cdc8-4nb5t --grace-period=0 --force
    Copy to Clipboard Toggle word wrap

    输出示例： 

    warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
  pod "rook-ceph-osd-0-86bf8cdc8-4nb5t" force deleted
    Copy to Clipboard Toggle word wrap

  1. 从集群中移除旧 OSD，以便能够添加新 OSD。

    1. 识别与要替换的 OSD 关联的 DeviceSet。 

      $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc
      Copy to Clipboard Toggle word wrap

      输出示例： 

      ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-64xjl
    ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-64xjl
      Copy to Clipboard Toggle word wrap

      在本例中，PVC 名称为 ocs-deviceset-localblock-0-data-0-64xjl。

    2. 删除所有旧的 ocs-osd-removal 任务。 

      $ oc delete -n openshift-storage job ocs-osd-removal-job
      Copy to Clipboard Toggle word wrap

      输出示例： 

      job.batch "ocs-osd-removal-job" deleted
      Copy to Clipboard Toggle word wrap

    3. 更改到 openshift-storage 项目。 

      $ oc project openshift-storage
      Copy to Clipboard Toggle word wrap

    4. 从集群中移除旧的 OSD 

      $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} | oc -n openshift-storage create -f -
      Copy to Clipboard Toggle word wrap

      您可以通过在 命令中添加逗号分隔的 OSD ID 来移除多个 OSD。（例如：FAILED_OSD_IDS=0,1,2)

      警告

      这一步会导致 OSD 完全从集群中移除。确保提供了 osd_id_to_remove 的正确值。

  2. 通过检查 ocs-osd-removal pod 的状态，验证 OSD 是否已成功移除。状态为 Completed，确认 OSD 移除作业已成功完成。 

    $ oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
    Copy to Clipboard Toggle word wrap
    注意

    如果 ocs-osd-removal 失败且 pod 不处于预期的 Completed 状态，请检查 pod 日志以进一步调试。例如： 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
    Copy to Clipboard Toggle word wrap

  3. 删除与要替换的 OSD 关联的持久卷声明(PVC)资源。

    1. 标识与 PVC 关联的 PV。 

      $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>
      Copy to Clipboard Toggle word wrap

      其中，x、y 和 pvc-suffix 是 DeviceSet 中在第 4(a)步中识别的值。

      输出示例： 

      NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
ocs-deviceset-localblock-0-data-0-64xjl   Bound    local-pv-8137c873    256Gi      RWO     localblock     24h
      Copy to Clipboard Toggle word wrap

      在本例中，关联的 PV 是 local-pv-8137c873。

    2. 确定要替换的设备的名称。 

      $ oc get pv local-pv-<pv-suffix> -o yaml | grep path
      Copy to Clipboard Toggle word wrap

      其中，pv-suffix 是前面步骤中标识的 PV 名称中的值。

      输出示例： 

      path: /mnt/local-storage/localblock/vdc
      Copy to Clipboard Toggle word wrap

      在本例中，设备名称为 vdc。

    3. 找到与要被替换的 OSD 关联的 prepare-pod。 

      $ oc describe -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix> | grep Mounted
      Copy to Clipboard Toggle word wrap

      其中 x、y 和 pvc-suffix 是前面步骤中标识的 DeviceSet 中的值。

      输出示例： 

      Mounted By:    rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc
      Copy to Clipboard Toggle word wrap

      在本例中，prepare-pod 名称为 rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc。

    4. 在删除关联的 PVC 前，删除 osd-prepare pod。 

      $ oc delete -n openshift-storage pod rook-ceph-osd-prepare-ocs-deviceset-<x>-<y>-<pvc-suffix>-<pod-suffix>
      Copy to Clipboard Toggle word wrap

      其中，x、y、pvc-suffix 和 pod-suffix 是上一步中标识的 osd-prepare pod 名称中的值。

      输出示例： 

      job.batch "ocs-osd-removal-job" deleted
      Copy to Clipboard Toggle word wrap

    5. 更改到 openshift-storage 项目。 

      $ oc project openshift-storage
      Copy to Clipboard Toggle word wrap

    6. 从集群中移除旧的 OSD 

      $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -
      Copy to Clipboard Toggle word wrap
      <failed_osd_id>

      是 rook-ceph-osd 前缀后立即的 pod 名称中的整数。您可以在 命令中添加以逗号分隔的 OSD ID，以删除多个 OSD，如 FAILED_OSD_IDS=0,1,2。

      在只有三个 OSD 的集群中，FORCE_OSD_REMOVAL 值必须更改为 true，否则在移除 OSD 后恢复所有三个数据副本不足。

      警告

      这一步会导致 OSD 完全从集群中移除。确保提供了 osd_id_to_remove 的正确值。

  4. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。 

    pod "rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc" deleted
    Copy to Clipboard Toggle word wrap

    1. 删除与要替换的 OSD 关联的 PVC。 

      $ oc delete -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>
      Copy to Clipboard Toggle word wrap

      其中 x、y 和 pvc-suffix 是前面步骤中标识的 DeviceSet 中的值。

      输出示例： 

      persistentvolumeclaim "ocs-deviceset-localblock-0-data-0-64xjl" deleted
      Copy to Clipboard Toggle word wrap

  5. 删除与要替换的设备关联的 PV，这已在前面的步骤中识别。在本例中，PV 名称为 local-pv-8137c873。 

    $ oc delete pv local-pv-8137c873
    Copy to Clipboard Toggle word wrap

    输出示例： 

    persistentvolume "local-pv-8137c873" deleted
    Copy to Clipboard Toggle word wrap

  6. 替换旧设备，并使用新设备创建新的 OpenShift Container Platform PV。

    1. 使用要替换的设备登录到 OpenShift Container Platform 节点。在本例中，OpenShift Container Platform 节点是 worker-0。 

      $ oc debug node/worker-0
      Copy to Clipboard Toggle word wrap

      输出示例： 

      Starting pod/worker-0-debug ...
To use host binaries, run `chroot /host`
Pod IP: 192.168.88.21
If you don't see a command prompt, try pressing enter.
# chroot /host
      Copy to Clipboard Toggle word wrap

    2. 使用前面标识的设备名称 vdc 记录要替换的 /dev/disk。 

      # ls -alh /mnt/local-storage/localblock
      Copy to Clipboard Toggle word wrap

      输出示例： 

      total 0
drwxr-xr-x. 2 root root 17 Nov  18 15:23 .
drwxr-xr-x. 3 root root 24 Nov  18 15:23 ..
lrwxrwxrwx. 1 root root  8 Nov  18 15:23 vdc -> /dev/vdc
      Copy to Clipboard Toggle word wrap

    3. 查找 LocalVolumeSet CR 的名称，并删除或注释掉要替换的设备 /dev/disk。 

      $ oc get -n openshift-local-storage localvolumeset
NAME          AGE
localblock   25h
      Copy to Clipboard Toggle word wrap

  7. 使用要替换的设备登录到 OpenShift Container Platform 节点，并删除旧的 符号链接。 

    $ oc debug node/worker-0
    Copy to Clipboard Toggle word wrap

    输出示例： 

    Starting pod/worker-0-debug ...
To use host binaries, run `chroot /host`
Pod IP: 192.168.88.21
If you don't see a command prompt, try pressing enter.
# chroot /host
    Copy to Clipboard Toggle word wrap

    1. 确定要替换的设备名称的旧 符号链接。在本例中，设备名称为 vdc。 

      # ls -alh /mnt/local-storage/localblock
      Copy to Clipboard Toggle word wrap

      输出示例： 

      total 0
drwxr-xr-x. 2 root root 17 Nov  18 15:23 .
drwxr-xr-x. 3 root root 24 Nov  18 15:23 ..
lrwxrwxrwx. 1 root root  8 Nov  18 15:23 vdc -> /dev/vdc
      Copy to Clipboard Toggle word wrap

    2. 删除 符号链接。 

      # rm /mnt/local-storage/localblock/vdc
      Copy to Clipboard Toggle word wrap

    3. 验证是否删除了 symlink。 

      # ls -alh /mnt/local-storage/localblock
      Copy to Clipboard Toggle word wrap

      输出示例： 

      total 0
drwxr-xr-x. 2 root root 6 Nov 18 17:11 .
drwxr-xr-x. 3 root root 24 Nov 18 15:23 ..
      Copy to Clipboard Toggle word wrap
      重要

      对于 OpenShift Container Storage 4.5 或更高版本的新部署，LVM 不在使用中，ceph-volume 原始模式则改为在 play 中。因此，不需要额外的验证，您可以继续下一步。

  8. 使用新设备替换该设备。

  9. 重新登录到正确的 OpenShift Cotainer Platform 节点，并确定新驱动器的设备名称。设备名称必须更改，除非您要重新排序同一设备。 

    # lsblk
    Copy to Clipboard Toggle word wrap

    输出示例： 

    NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
vda                          252:0    0   40G  0 disk
|-vda1                       252:1    0    4M  0 part
|-vda2                       252:2    0  384M  0 part /boot
`-vda4                       252:4    0 39.6G  0 part
  `-coreos-luks-root-nocrypt 253:0    0 39.6G  0 dm   /sysroot
vdb                          252:16   0  512B  1 disk
vdd                          252:32   0  256G  0 disk
    Copy to Clipboard Toggle word wrap

    在这个示例中，新设备名称为 vdd。

  10. 新 /dev/disk 可用后，localvolumeset 将自动检测到它。

  11. 验证是否有新 PV 处于 Available 状态且大小正确。 

    $ oc get pv | grep 256Gi
    Copy to Clipboard Toggle word wrap

    输出示例： 

    local-pv-1e31f771   256Gi   RWO    Delete  Bound  openshift-storage/ocs-deviceset-localblock-2-data-0-6xhkf   localblock    24h
local-pv-ec7f2b80   256Gi   RWO    Delete  Bound  openshift-storage/ocs-deviceset-localblock-1-data-0-hr2fx   localblock    24h
local-pv-8137c873   256Gi   RWO    Delete  Available                                                          localblock    32m
    Copy to Clipboard Toggle word wrap

  12. 为新设备创建新 OSD。

    1. 通过重启 rook-ceph-operator 来强制 Operator 协调，从而部署新的 OSD。

      1. 识别 rook-ceph-operator 的名称。 

        $ oc get -n openshift-storage pod -l app=rook-ceph-operator
        Copy to Clipboard Toggle word wrap

        输出示例： 

        NAME                                  READY   STATUS    RESTARTS   AGE
rook-ceph-operator-85f6494db4-sg62v   1/1     Running   0          1d20h
        Copy to Clipboard Toggle word wrap

      2. 删除 rook-ceph-operator。 

        $ oc delete -n openshift-storage pod rook-ceph-operator-85f6494db4-sg62v
        Copy to Clipboard Toggle word wrap

        输出示例： 

        pod "rook-ceph-operator-85f6494db4-sg62v" deleted
        Copy to Clipboard Toggle word wrap

        在本例中，rook-ceph-operator pod 名称为 rook-ceph-operator-85f6494db4-sg62v。

      3. 验证 rook-ceph-operator pod 是否已重启。 

        $ oc get -n openshift-storage pod -l app=rook-ceph-operator
        Copy to Clipboard Toggle word wrap

        输出示例： 

        NAME                                  READY   STATUS    RESTARTS   AGE
rook-ceph-operator-85f6494db4-wx9xx   1/1     Running   0          50s
        Copy to Clipboard Toggle word wrap

        在操作器重启后，创建新 OSD 可能需要几分钟时间。

  13. 删除 ocs-osd-removal 任务。 

    $ oc delete -n openshift-storage job ocs-osd-removal-job
    Copy to Clipboard Toggle word wrap

    输出示例： 

    job.batch "ocs-osd-removal-job" deleted
    Copy to Clipboard Toggle word wrap

验证步骤

  • 验证新 OSD 是否正在运行，并且创建了一个新的 PVC。 

    $ oc get -n openshift-storage pods -l app=rook-ceph-osd
    Copy to Clipboard Toggle word wrap

    输出示例： 

    rook-ceph-osd-0-76d8fb97f9-mn8qz   1/1     Running   0          23m
rook-ceph-osd-1-7c99657cfb-jdzvz   1/1     Running   1          25h
rook-ceph-osd-2-5f9f6dfb5b-2mnw9   1/1     Running   0          25h
    Copy to Clipboard Toggle word wrap 
    $ oc get -n openshift-storage pvc | grep localblock
    Copy to Clipboard Toggle word wrap

    输出示例： 

    ocs-deviceset-localblock-0-data-0-q4q6b   Bound    local-pv-8137c873       256Gi     RWO         localblock         10m
ocs-deviceset-localblock-1-data-0-hr2fx   Bound    local-pv-ec7f2b80       256Gi     RWO         localblock         1d20h
ocs-deviceset-localblock-2-data-0-6xhkf   Bound    local-pv-1e31f771       256Gi     RWO         localblock         1d20h
    Copy to Clipboard Toggle word wrap

  • 登录 OpenShift Web 控制台并查看存储仪表板。

    图 5.2. 在设备替换后，OpenShift Container Platform 存储仪表板中的 OSD 状态

    显示正常运行的 RHOCP 存储控制面板。
    View larger image
    显示正常运行的 RHOCP 存储控制面板。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat