Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

2.3. 替换 IBM Power 基础架构上的存储节点

对于 OpenShift Data Foundation，您可以主动对一个操作节点执行节点替换，并主动进行与 IBM Power 相关的部署。

先决条件

  • 确保替换节点配置类似的基础架构和资源，以用于被替换的节点。
  • 您必须登录到 OpenShift Container Platform 集群。

流程

  1. 找出该节点，并获取您要替换的节点上的标签： 

    $ oc get nodes --show-labels | grep <node_name>
    Copy to Clipboard Toggle word wrap
    <node_name>
    指定替换的节点的名称。

  2. 识别在需要替换的节点中运行的 mon （若有）和 Object Storage Device(OSD)pod： 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>
    Copy to Clipboard Toggle word wrap

  3. 缩减上一步中标识的 pod 的部署：

    例如： 

    $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap 
    $ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap 
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap

  4. 将节点标记为不可调度： 

    $ oc adm cordon <node_name>
    Copy to Clipboard Toggle word wrap

  5. 删除处于 Terminating 状态的 pod： 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'
    Copy to Clipboard Toggle word wrap

  6. 排空节点： 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    Copy to Clipboard Toggle word wrap

  7. 删除节点： 

    $ oc delete node <node_name>
    Copy to Clipboard Toggle word wrap
  8. 使用所需基础架构获取新的 IBM Power 机器。请参阅在 IBM Power 上安装集群。
  9. 使用新的 IBM Power 机器创建新的 OpenShift Container Platform 节点。

  10. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)： 

    $ oc get csr
    Copy to Clipboard Toggle word wrap

  11. 批准新节点所需的所有 OpenShift Container Platform CSR： 

    $ oc adm certificate approve <certificate_name>
    Copy to Clipboard Toggle word wrap
    <certificate_name>
    指定 CSR 的名称。
  12. 在 OpenShift Web 控制台中，点 Compute Nodes。确认新节点处于 Ready 状态。

  13. 使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点：

    从用户界面
    1. 对于新节点，点击 Action Menu(⋮) Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage，然后点 Save。
    使用命令行界面
    1. 将 OpenShift Data Foundation 标签应用到新节点： 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''
    Copy to Clipboard Toggle word wrap
    <new_node_name>
    指定新节点的名称。

  14. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量： 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    Copy to Clipboard Toggle word wrap

    例如： 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    Copy to Clipboard Toggle word wrap 
    echo $local_storage_project
    Copy to Clipboard Toggle word wrap

    输出示例： 

    openshift-local-storage
    Copy to Clipboard Toggle word wrap

  15. 将新添加的 worker 节点添加到 localVolume 中。

    1. 确定您需要编辑的 localVolume ： 

      # oc get -n $local_storage_project localvolume
      Copy to Clipboard Toggle word wrap

      输出示例： 

      NAME           AGE
localblock    25h
      Copy to Clipboard Toggle word wrap

    2. 更新 localVolume 定义，使其包含新节点，并删除故障节点： 

      # oc edit -n $local_storage_project localvolume localblock
      Copy to Clipboard Toggle word wrap

      输出示例： 

      [...]
    nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            #- worker-0
            - worker-1
            - worker-2
            - worker-3
[...]
      Copy to Clipboard Toggle word wrap

      记住在退出编辑器之前进行保存。

      在本例中，worker-0 被删除，worker-3 是新节点。

  16. 验证新的 localblock 持久性卷 (PV)是否可用： 

    $ oc get pv | grep localblock
    Copy to Clipboard Toggle word wrap

    输出示例： 

    NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h
    Copy to Clipboard Toggle word wrap

  17. 进入 openshift-storage 项目： 

    $ oc project openshift-storage
    Copy to Clipboard Toggle word wrap

  18. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。

    1. 识别 PVC： 

      $ osd_id_to_remove=1
      Copy to Clipboard Toggle word wrap 
      $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc
      Copy to Clipboard Toggle word wrap

      其中，<osd_id_to_remove> 是 rook-ceph-osd 前缀后的 pod 名字中的整数。

      在本例中，部署名称为 rook-ceph-osd-1。

      输出示例： 

      ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
    ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
      Copy to Clipboard Toggle word wrap

    2. 从集群移除出现故障的 OSD。如果需要，您可以指定多个失败的 OSD： 

      $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> | oc create -f -
      Copy to Clipboard Toggle word wrap
      <failed_osd_id>

      是 pod 名称中紧接在 rook-ceph-osd 前缀后面的整数。您可以通过在命令中添加逗号分隔的 OSD ID，以移除多个 OSD，例如 FAILED_OSD_IDS=0,1,2。

      FORCE_OSD_REMOVAL 值必须在有三个 OSD 的集群中更改为 true，或者有足够空间的集群在移除 OSD 后恢复所有这三个数据副本。

      警告

      此步骤的结果是从集群中完全移除 OSD。确保提供了 osd_id_to_remove 的正确值。

  19. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态 Completed 确认 OSD 移除作业已成功。 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
    Copy to Clipboard Toggle word wrap

  20. 确保 OSD 移除已完成。 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
    Copy to Clipboard Toggle word wrap

    输出示例： 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    Copy to Clipboard Toggle word wrap
    重要

    如果 ocs-osd-removal-job 失败，并且 pod 不在预期的 Completed 状态，请检查 pod 日志以进一步调试。

    例如： 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
    Copy to Clipboard Toggle word wrap

  21. 删除与故障节点关联的 PV。

    1. 识别与 PVC 关联的 PV： 

      # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
      Copy to Clipboard Toggle word wrap

      输出示例： 

      local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0
      Copy to Clipboard Toggle word wrap

      PVC 名称必须与从集群中删除故障 OSD 时获取的名称相同。

    2. 如果有一个 PV 处于 Released 状态，请删除它： 

      # oc delete pv <persistent_volume>
      Copy to Clipboard Toggle word wrap

      例如： 

      # oc delete pv local-pv-5c9b8982
      Copy to Clipboard Toggle word wrap

      输出示例： 

      persistentvolume "local-pv-5c9b8982" deleted
      Copy to Clipboard Toggle word wrap

  22. 确定 crashcollector pod 部署： 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
    Copy to Clipboard Toggle word wrap

    如果有现有的 crashcollector pod 部署，请删除它： 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
    Copy to Clipboard Toggle word wrap

  23. 删除 ocs-osd-removal-job ： 

    # oc delete -n openshift-storage job ocs-osd-removal-job
    Copy to Clipboard Toggle word wrap

    输出示例： 

    job.batch "ocs-osd-removal-job" deleted
    Copy to Clipboard Toggle word wrap

验证步骤

  1. 验证输出中是否存在新节点： 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
    Copy to Clipboard Toggle word wrap

  2. 点击 Workloads Pods。确认新节点上至少以下 pod 处于 Running 状态：

    • openshift-storage.cephfs.csi.ceph.com-*
    • openshift-storage.rbd.csi.ceph.com-*

  3. 验证所有其他必需的 OpenShift 数据基础容器集是否都处于 Running 状态。

    确保创建了新的 incremental mon，且处于 Running 状态： 

    $ oc get pod -n openshift-storage | grep mon
    Copy to Clipboard Toggle word wrap

    输出示例： 

    rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m
    Copy to Clipboard Toggle word wrap

    OSD 和监控 pod 可能需要几分钟才能进入 Running 状态。

  4. 验证新 OSD pod 是否在替换节点上运行： 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd
    Copy to Clipboard Toggle word wrap

  5. 可选：如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

    对于上一步中标识的每个新节点，请执行以下操作：

    1. 创建 debug pod 并为一个或多个所选主机打开 chroot 环境： 

      $ oc debug node/<node_name>
      Copy to Clipboard Toggle word wrap 
      $ chroot /host
      Copy to Clipboard Toggle word wrap

    2. 显示可用块设备列表： 

      $ lsblk
      Copy to Clipboard Toggle word wrap

      检查一个或多个 ocs-deviceset 名称旁的 crypt 关键字。

  6. 如果验证步骤失败，请联系红帽支持团队。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat