替换节点

步骤

1. 确定需要替换的节点。

2. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

3. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

4. 使用以下命令删除节点：

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap
5. 使用所需基础架构创建新的 AWS 机器集。请参阅 平台要求。
6. 使用新的 AWS 机器集创建新的 OpenShift Container Platform 节点。

7. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

   $ oc get csr

   Copy to Clipboard Toggle word wrap

8. 为新节点批准所有所需的 OpenShift Container Platform CSR：

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
9. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

10. 将 OpenShift Container Storage 标签应用到新节点。

    使用 Web 用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定需要替换的节点。记录其 Machine Name。

3. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

5. 点 Compute → Machines。搜索所需的机器。
6. 除了所需的机器外，点击 Action 菜单(⋮) → Delete Machine。
7. 单击 Delete 以确认删除机器。会自动创建新机器。

8. 等待新计算机启动并过渡到 Running 状态。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。

9. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

10. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 识别需要替换节点的 AWS 机器集。
2. 登录 AWS 并终止指定的 AWS 机器实例。
3. 使用所需基础架构创建新的 AWS 机器集。查看平台要求.
4. 使用新的 AWS 机器集创建新的 OpenShift Container Platform 节点。

5. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

   $ oc get csr

   Copy to Clipboard Toggle word wrap

6. 为新节点批准所有所需的 OpenShift Container Platform CSR：

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
7. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

8. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定有故障的节点，再单击其 Machine Name。
3. 点击 Actions → Edit Annotations，然后点 Add More。
4. 添加 machine.openshift.io/exclude-node-draining 并点 Save。
5. 点 Actions → Delete Machine，然后点 Delete。

6. 新机器会自动创建，等待新机器启动。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

7. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

8. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [可选]：如果没有自动删除失败的 AWS 实例，从 AWS 控制台终止实例。

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 确定需要替换的节点及其虚拟机。

2. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

3. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

4. 使用以下命令删除节点：

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

5. 登录 vSphere 并终止标识的虚拟机。

   重要

   应当仅从清单中删除虚拟机，而不应从磁盘中删除虚拟机。

6. 使用所需基础架构在 vSphere 上创建新虚拟机。请参阅 平台要求。
7. 使用新虚拟机创建新的 OpenShift Container Platform worker 节点。

8. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

   $ oc get csr

   Copy to Clipboard Toggle word wrap

9. 为新节点批准所有所需的 OpenShift Container Platform CSR：

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
10. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

11. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定需要替换的节点。记录其 Machine Name。

3. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

5. 点 Compute → Machines。搜索所需的机器。
6. 除了所需的机器外，点击 Action 菜单(⋮) → Delete Machine。
7. 单击 Delete 以确认删除机器。会自动创建新机器。

8. 等待新计算机启动并过渡到 Running 状态。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。

9. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

10. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 确定需要替换的节点及其虚拟机。

2. 使用以下命令删除节点：

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

3. 登录 vSphere 并终止标识的虚拟机。

   重要

   应当仅从清单中删除虚拟机，而不应从磁盘中删除虚拟机。

4. 使用所需基础架构在 vSphere 上创建新虚拟机。请参阅 平台要求。
5. 使用新虚拟机创建新的 OpenShift Container Platform worker 节点。

6. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

   $ oc get csr

   Copy to Clipboard Toggle word wrap

7. 为新节点批准所有所需的 OpenShift Container Platform CSR：

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
8. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

9. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定有故障的节点，再单击其 Machine Name。
3. 点击 Actions → Edit Annotations，然后点 Add More。
4. 添加 machine.openshift.io/exclude-node-draining 并点 Save。
5. 点 Actions → Delete Machine，然后点 Delete。

6. 新机器会自动创建，等待新机器启动。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

7. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

8. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [可选]: 如果没有自动删除失败的虚拟机，请从 vSphere 终止虚拟机。

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登陆到 OpenShift Web 控制台，点 Compute → Nodes。
2. 确定需要替换的节点。记录其 Machine Name。

3. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

5. 点 Compute → Machines。搜索所需的机器。
6. 除了所需的机器外，点击 Action 菜单(⋮)→ Delete Machine。

7. 单击 Delete 以确认删除机器。会自动创建新机器。等待新机器启动并过渡到 Running 状态。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。

8. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

9. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登陆到 OpenShift Web 控制台，点 Compute → Nodes。
2. 确定出现故障的节点。记录其 Machine Name。

3. 登录到 Red Hat Virtualization 管理门户，并从出现故障的虚拟机中删除与 mon 和 OSD 关联的虚拟磁盘。

   此步骤是必需的，以便在虚拟机实例被删除时不会删除磁盘。

   重要

   删除磁盘时，请勿永久选择删除选项。

4. 在 OpenShift Web 控制台中，点 Compute → Machines。搜索所需的机器。
5. 点 Actions → Edit Annotations，然后点 Add More。
6. 添加 machine.openshift.io/exclude-node-draining 并点 Save。

7. 点 Actions → Delete Machine，然后点 Delete。

   新机器会自动创建，等待新机器启动。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

8. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

9. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

10. （可选）如果未自动删除失败的虚拟机，请从 Red Hat Virtualization 管理门户中删除虚拟机。

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定需要替换的节点。记录其 Machine Name。

3. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

5. 点 Compute → Machines。搜索所需的机器。
6. 除了所需的机器外，点击 Action 菜单(⋮) → Delete Machine。
7. 单击 Delete 以确认删除机器。会自动创建新机器。

8. 等待新计算机启动并过渡到 Running 状态。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。

9. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

10. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定有故障的节点，再单击其 Machine Name。
3. 点击 Actions → Edit Annotations，然后点 Add More。
4. 添加 machine.openshift.io/exclude-node-draining 并点 Save。
5. 点 Actions → Delete Machine，然后点 Delete。

6. 新机器会自动创建，等待新机器启动。

   重要

   此活动可能需要至少 5 到 10 分钟或更长时间。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

7. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

8. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   从用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [可选]：如果没有自动删除失败的 Azure 实例，从 Azure 控制台终止实例。

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 确定要替换的节点上的 NODE 并获取标签。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 识别要替换的节点中运行的 mon （如果有）和 OSD。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 缩减上一步中确定的容器集部署。

   例如：

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 将节点标记为不可调度。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 排空节点。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

6. 删除节点。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap

7. 获取具有所需基础架构的新裸机计算机。请参阅在裸机上安装集群。

   重要

   有关如何在三节点 OpenShift 紧凑的裸机集群中安装 OpenShift Container Storage 时如何替换 master 节点的详情，请参阅 OpenShift Container Platform 文档中的备份和恢复指南。

8. 使用新的裸机机器创建新的 OpenShift Container Platform 节点。

9. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

   $ oc get csr

   Copy to Clipboard Toggle word wrap

10. 为新节点批准所有所需的 OpenShift Container Platform CSR：

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
11. 在 OpenShift Web 控制台中点 Compute → Nodes，确认新节点是否处于 Ready 状态。

12. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

13. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    例如：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

14. 将新的 worker 节点添加到 localVolumeDiscovery 和 localVolumeSet。

    1. 更新 localVolumeDiscovery 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

    2. 决定要编辑的 localVolumeSet。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 更新 localVolumeSet 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

15. 验证新的 localblock PV 是否可用。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

16. 更改到 openshift-storage 项目。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

17. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

    Copy to Clipboard Toggle word wrap

18. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注意

    如果 ocs-osd-removal-job 失败，且 pod 没有处于预期的 Completed 状态，请检查 pod 日志以获得进一步的调试。例如：

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

19. 删除 ocs-osd-removal-job。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    输出示例：

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

   确保创建了新的增量 mon，并处于 Running 状态。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   输出示例：

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 和 Mon 可能需要几分钟才能进入 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 确定要替换的节点上的 NODE 并获取标签。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 识别要替换的节点中运行的 mon （如果有）和 OSD。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 缩减上一步中确定的容器集部署。

   例如：

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 将节点标记为不可调度。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 删除处于 Terminating 状态的 pod。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. 排空节点。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. 删除节点。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap

8. 获取具有所需基础架构的新裸机计算机。请参阅在裸机上安装集群。

   重要

   有关如何在三节点 OpenShift 紧凑的裸机集群中安装 OpenShift Container Storage 时如何替换 master 节点的详情，请参阅 OpenShift Container Platform 文档中的备份和恢复指南。

9. 使用新的裸机机器创建新的 OpenShift Container Platform 节点。

10. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 为新节点批准所有所需的 OpenShift Container Platform CSR：

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
12. 在 OpenShift Web 控制台中点 Compute → Nodes，确认新节点是否处于 Ready 状态。

13. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

14. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    例如：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. 将新的 worker 节点添加到 localVolumeDiscovery 和 localVolumeSet。

    1. 更新 localVolumeDiscovery 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

    2. 决定要编辑的 localVolumeSet。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 更新 localVolumeSet 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

16. 验证新的 localblock PV 是否可用。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

17. 更改到 openshift-storage 项目。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

18. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

    Copy to Clipboard Toggle word wrap

19. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注意

    如果 ocs-osd-removal-job 失败，且 pod 没有处于预期的 Completed 状态，请检查 pod 日志以获得进一步的调试。例如：

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

20. 删除 ocs-osd-removal-job。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    输出示例：

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

   确保创建了新的增量 mon，并处于 Running 状态。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   输出示例：

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 和 Mon 可能需要几分钟才能进入 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台。
2. 点 Compute → Nodes。
3. 确定需要替换的节点。记录其 Machine Name。

4. 使用以下命令将节点标记为不可调度：

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 使用以下命令排空节点：

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   此活动可能至少需要 5 到 10 分钟。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

6. 点 Compute → Machines。搜索所需的机器。
7. 除了所需的机器外，点击 Action 菜单(⋮) → Delete Machine。
8. 单击 Delete 以确认删除机器。会自动创建新机器。

9. 等待新计算机启动并过渡到 Running 状态。

   重要

   此活动可能至少需要 5 到 10 分钟。

10. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

11. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了数据加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定有故障的节点，再单击其 Machine Name。
3. 点击 Actions → Edit Annotations，然后点 Add More。
4. 添加 machine.openshift.io/exclude-node-draining 并点 Save。
5. 点 Actions → Delete Machine，然后点 Delete。

6. 新机器会自动创建，等待新机器启动。

   重要

   此活动可能至少需要 5 到 10 分钟。这一期间内生成的 Ceph 错误是临时的，在新节点标上并正常运行时自动解决。

7. 点 Compute → Nodes，确认新节点是否处于 Ready 状态。

8. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

   使用 Web 用户界面

   1. 对于新节点，点击 Action Menu(⋮) → Edit Labels
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

   使用命令行界面

   • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

10. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
11. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

12. 验证新 OSD pod 是否在替换节点上运行。

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

    Copy to Clipboard Toggle word wrap

13. （可选）如果在集群中启用了数据加密，请验证新 OSD 设备是否已加密。

    对于上一步中标识的每个新节点，请执行以下操作：

    1. 创建调试 pod，并为所选主机打开 chroot 环境。

       $ oc debug node/<node name>
       $ chroot /host

       Copy to Clipboard Toggle word wrap

    2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

       $ lsblk

       Copy to Clipboard Toggle word wrap
14. 如果验证步骤失败，请联系红帽支持。

步骤

1. 确定要替换的节点上的 NODE 并获取标签。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 识别要替换的节点中运行的 mon （如果有）和 OSD。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 缩减上一步中确定的容器集部署。

   例如：

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 将节点标记为不可调度。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 排空节点。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

6. 删除节点。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
7. 登录 vSphere 并终止标识的虚拟机。
8. 使用所需基础架构在 VMware 上创建一个新虚拟机。请参阅支持的基础架构和平台。
9. 使用新虚拟机创建新的 OpenShift Container Platform worker 节点。

10. 检查与处于 Pending 状态的 OpenShift Container Platform 相关的证书签名请求(CSR)：

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 为新节点批准所有所需的 OpenShift Container Platform CSR：

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
12. 在 OpenShift Web 控制台中点 Compute → Nodes，确认新节点是否处于 Ready 状态。

13. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

14. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    例如：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. 将新的 worker 节点添加到 localVolumeDiscovery 和 localVolumeSet。

    1. 更新 localVolumeDiscovery 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

    2. 决定要编辑的 localVolumeSet。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 更新 localVolumeSet 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

16. 验证新的 localblock PV 是否可用。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

17. 更改到 openshift-storage 项目。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

18. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

    Copy to Clipboard Toggle word wrap

19. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注意

    如果 ocs-osd-removal-job 失败，且 pod 没有处于预期的 Completed 状态，请检查 pod 日志以获得进一步的调试。例如：

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

20. 删除 ocs-osd-removal-job。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    输出示例：

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

验证步骤

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

   确保创建了新的增量 mon，并处于 Running 状态。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   输出示例：

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 和 Mon 可能需要几分钟才能进入 Running 状态。

4. 验证新 OSD pod 是否在替换节点上运行。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

   对于上一步中标识的每个新节点，请执行以下操作：

   1. 创建调试 pod，并为所选主机打开 chroot 环境。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 如果验证步骤失败，请联系红帽支持。

步骤

1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
2. 确定需要替换的节点。记录其 Machine Name。

3. 在要替换的节点上获取标签。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

4. 识别要替换的节点中运行的 mon （如果有）和 OSD。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

5. 缩减上一步中确定的容器集部署。

   例如：

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

6. 将节点标记为不可调度。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

7. 排空节点。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
8. 点 Compute → Machines。搜索所需的机器。
9. 除了所需的机器外，点击 Action 菜单(⋮)→ Delete Machine。
10. 单击 Delete 以确认删除机器。会自动创建新机器。

11. 等待新计算机启动并过渡到 Running 状态。

    重要

    此活动可能需要至少 5 到 10 分钟或更长时间。

12. 在 OpenShift Web 控制台中点 Compute → Nodes，确认新节点是否处于 Ready 状态。
13. 向节点物理地添加新设备。

14. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面

    1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点：

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

15. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    例如：

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

16. 将新的 worker 节点添加到 localVolumeDiscovery 和 localVolumeSet。

    1. 更新 localVolumeDiscovery 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

    2. 决定要编辑的 localVolumeSet。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 更新 localVolumeSet 定义，使其包含新节点并删除失败的节点。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       记住在退出编辑器之前进行保存。

       在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

17. 验证新的 localblock PV 是否可用。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

18. 更改到 openshift-storage 项目。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

19. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

    Copy to Clipboard Toggle word wrap

20. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注意

    如果 ocs-osd-removal-job 失败，且 pod 没有处于预期的 Completed 状态，请检查 pod 日志以获得进一步的调试。例如：

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

21. 标识与 PVC 关联的 PV。

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Copy to Clipboard Toggle word wrap

    如果有一个 PV 处于 Released 状态，请将其删除。

    # oc delete pv <persistent-volume>

    Copy to Clipboard Toggle word wrap

    例如：

    #oc delete pv local-pv-d6bf175b
    persistentvolume "local-pv-d9c5cbd6" deleted

    Copy to Clipboard Toggle word wrap

22. 确定 crashcollector pod 部署。

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    Copy to Clipboard Toggle word wrap

    如果已存在 crashcollector pod 部署，请将其删除。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    Copy to Clipboard Toggle word wrap

23. 删除 ocs-osd-removal-job。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    输出示例：

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap