Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

6.6. 使用自助节点修复 Operator 修复节点

您可以使用 Self Node Remediation Operator 自动重新引导不健康的节点。此补救策略可最小化有状态应用程序和 ReadWriteOnce (RWO) 卷的停机时间，并在发生临时故障时恢复计算容量。

6.6.1. 关于自助服务修复 Operator
复制链接

Self Node Remediation Operator 在集群节点上运行，并重启被识别为不健康的节点。Operator 使用 MachineHealthCheck 或 NodeHealthCheck 控制器来检测集群中节点的健康状态。当节点识别为不健康时，MachineHealthCheck 或 NodeHealthCheck 资源会创建 SelfNodeRemediation 自定义资源(CR)，这会触发 Self Node Remediation Operator。

SelfNodeRemediation CR 类似于以下 YAML 文件： 

apiVersion: self-node-remediation.medik8s.io/v1alpha1
kind: SelfNodeRemediation
metadata:
  name: selfnoderemediation-sample
  namespace: openshift-operators
spec:
status:
  lastError: <last_error_message>
1
Copy to Clipboard Toggle word wrap
1
显示补救过程中发生的最后错误。当补救成功或没有发生错误时，字段会留空。

Self Node Remediation Operator 最小化有状态应用程序的停机时间，并在出现临时故障时恢复计算容量。无论 IPMI 或 API 等管理界面如何置备节点，都可使用此 Operator 来置备节点，无论集群安装类型是什么，如安装程序置备的基础架构或用户置备的基础架构。

6.6.1.1. 了解 Self Node Remediation Operator 配置
复制链接

Self Node Remediation Operator 创建了名为 self-node-remediation-config 的 SelfNodeRemediationConfig CR。CR 在 Self Node Remediation Operator 的命名空间中创建。

SelfNodeRemediationConfig CR 的更改重新创建 Self Node Remediation 守护进程集。

SelfNodeRemediationConfig CR 类似于以下 YAML 文件： 

apiVersion: self-node-remediation.medik8s.io/v1alpha1
kind: SelfNodeRemediationConfig
metadata:
  name: self-node-remediation-config
  namespace: openshift-operators
spec:
  safeTimeToAssumeNodeRebootedSeconds: 180
1 

  watchdogFilePath: /dev/watchdog
2 

  isSoftwareRebootEnabled: true
3 

  apiServerTimeout: 15s
4 

  apiCheckInterval: 5s
5 

  maxApiErrorThreshold: 3
6 

  peerApiServerTimeout: 5s
7 

  peerDialTimeout: 5s
8 

  peerRequestTimeout: 5s
9 

  peerUpdateInterval: 15m
10
Copy to Clipboard Toggle word wrap
1
指定存活对等点的超时持续时间，然后 Operator 可以假定一个不健康的节点已被重启。Operator 自动计算这个值的下限。但是，如果不同的节点有不同的 watchdog 超时，则必须将此值改为更高的值。
2
指定节点中 watchdog 设备的文件路径。如果您为 watchdog 设备输入了一个错误的路径，则 Self Node Remediation Operator 会自动检测到 softdog 设备路径。

如果 watchdog 设备不可用，则 SelfNodeRemediationConfig CR 将使用软件重启。

3
指定是否启用不健康节点的软件重启。默认情况下，SoftwareRebootEnabled 的值设置为 true。要禁用软件重启，请将参数设置为 false。
4
指定检查每个 API 服务器的连接的超时持续时间。此超过了此持续时间，Operator 会启动补救。超时持续时间必须大于或等于 10 毫秒。
5
指定检查每个 API 服务器的连接的频率。超时持续时间必须大于或等于 1 秒。
6
指定一个阈值。达到这个阈值后，节点开始联系其同级服务器。阈值必须大于或等于 1 秒。
7
指定对等对等服务器连接 API 服务器的超时时间。超时持续时间必须大于或等于 10 毫秒。
8
指定与对等连接建立超时的持续时间。超时持续时间必须大于或等于 10 毫秒。
9
指定超时从对等点获得响应的时长。超时持续时间必须大于或等于 10 毫秒。
10
指定更新对等信息的频率，如 IP 地址。超时持续时间必须大于或等于 10 秒。
注意

您可以编辑由 Self Node Remediation Operator 创建的 self-node-remediation-config CR。但是，当您尝试为 Self Node Remediation Operator 创建新 CR 时，日志中会显示以下信息： 

controllers.SelfNodeRemediationConfig
ignoring selfnoderemediationconfig CRs that are not named 'self-node-remediation-config'
or not in the namespace of the operator:
'openshift-operators' {"selfnoderemediationconfig":
"openshift-operators/selfnoderemediationconfig-copy"}
Copy to Clipboard Toggle word wrap

6.6.1.2. 了解自助节点修复模板配置
复制链接

Self Node Remediation Operator 还创建 SelfNodeRemediationTemplate 自定义资源定义(CRD)。此 CRD 为节点定义补救策略。可用的补救策略如下：

ResourceDeletion
此补救策略移除节点上的 pod 和关联的卷附加，而不是节点对象。此策略有助于更快地恢复工作负载。ResourceDeletion 是默认的补救策略。
NodeDeletion
此补救策略移除节点对象。

Self Node Remediation Operator 会为每个策略创建以下 SelfNodeRemediationTemplate CR：

  • self-node-remediation-resource-deletion-template，其 ResourceDeletion 是使用的补救策略
  • self-node-remediation-node-deletion-template，NodeDeletion 是使用的补救策略

SelfNodeRemediationTemplate CR 类似于以下 YAML 文件： 

apiVersion: self-node-remediation.medik8s.io/v1alpha1
kind: SelfNodeRemediationTemplate
metadata:
  creationTimestamp: "2022-03-02T08:02:40Z"
  name: self-node-remediation-<remediation_object>-deletion-template
1 

  namespace: openshift-operators
spec:
  template:
    spec:
      remediationStrategy: <remediation_strategy>
2
Copy to Clipboard Toggle word wrap
1
根据补救策略指定补救模板的类型。将 <remediation_object> 替换为 resource 或 node，例如 self-node-remediation-resource-deletion-template。
2
指定补救策略。补救策略可以是 ResourceDeletion 或 NodeDeletion。

6.6.1.3. 关于 watchdog 设备
复制链接

watchdog 设备可以是以下任意一种：

  • 独立电源的硬件设备
  • 与它们控制的主机共享电源的硬件设备
  • 软件或 softdog中实施的虚拟设备

硬件 watchdog 和 softdog 设备分别具有电子计时器和软件计时器。这些 watchdog 设备用于确保在检测到错误条件时机器进入安全状态。集群需要重复重置 watchdog 定时器以证明它处于健康状态。此计时器可能会因为出现错误条件而造成问题，如死锁、CPU 不足以及网络或磁盘访问的丢失。如果计时器过期，watchdog 设备会假设发生了错误，设备会触发强制重置节点。

硬件 watchdog 设备比 softdog 设备更可靠。

Self Node Remediation Operator 根据存在的 watchdog 设备决定补救策略。

如果配置了硬件 watchdog 设备并可用，Operator 会使用它进行补救。如果没有配置硬件 watchdog 设备，Operator 会启用并使用 softdog 设备进行补救。

如果既不支持 watchdog 设备，无论是系统或配置，Operator 都会使用软件重启来修复节点。

其他资源

配置 watchdog

您可以使用 OpenShift Container Platform Web 控制台安装 Self Node Remediation Operator。

先决条件

  • 以具有 cluster-admin 特权的用户身份登录。

流程

  1. 在 OpenShift Container Platform Web 控制台中导航至 Operators OperatorHub。
  2. 从可用的 Operator 列表中选择 Self Node Remediation Operator，然后点 Install。
  3. 保留安装模式和命名空间的默认选择，以确保将 Operator 安装到 openshift-operators 命名空间中。
  4. 点 Install。

验证

确认安装成功：

  1. 导航到 Operators Installed Operators 页面。
  2. 检查 Operator 是否安装在 openshift-operators 命名空间中，其状态是否为 Succeeded。

如果 Operator 没有成功安装：

  1. 导航到 Operators Installed Operators 页面，并检查 Status 列中是否有任何错误或故障。
  2. 进入 Workloads Pods 页面，并检查在 self-node-remediation-controller-manager 项目中报告问题的 pod 的日志。

6.6.3. 使用 CLI 安装自助服务 Operator
复制链接

您可以使用 OpenShift CLI(oc)安装 Self Node Remediation Operator。

您可以在自己的命名空间中或 openshift-operators 命名空间中安装 Self Node Remediation Operator。

要在您自己的命名空间中安装 Operator，请按照以下步骤执行。

要在 openshift-operators 命名空间中安装 Operator，请跳至步骤 3，因为需要新的 Namespace 自定义资源(CR)和 OperatorGroup CR 的步骤。

先决条件

  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 特权的用户身份登录。

流程

  1. 为 Self Node Remediation Operator 创建 Namespace 自定义资源(CR)：

    1. 定义 Namespace CR 并保存 YAML 文件，如 self-node-remediation-namespace.yaml ： 

      apiVersion: v1
kind: Namespace
metadata:
  name: self-node-remediation
      Copy to Clipboard Toggle word wrap

    2. 要创建 Namespace CR，请运行以下命令： 

      $ oc create -f self-node-remediation-namespace.yaml
      Copy to Clipboard Toggle word wrap

  2. 创建 OperatorGroup CR：

    1. 定义 OperatorGroup CR 并保存 YAML 文件，如 self-node-remediation-operator-group.yaml ： 

      apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: self-node-remediation-operator
  namespace: self-node-remediation
      Copy to Clipboard Toggle word wrap

    2. 要创建 OperatorGroup CR，请运行以下命令： 

      $ oc create -f self-node-remediation-operator-group.yaml
      Copy to Clipboard Toggle word wrap

  3. 创建一个 Subscription CR：

    1. 定义 Subscription CR 并保存 YAML 文件，如 self-node-remediation-subscription.yaml ： 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
    name: self-node-remediation-operator
    namespace: self-node-remediation
      1 
      
spec:
    channel: stable
    installPlanApproval: Manual
      2 
      
    name: self-node-remediation-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    package: self-node-remediation
      Copy to Clipboard Toggle word wrap
      1
      指定要安装 Self Node Remediation Operator 的命名空间。要在 openshift-operators 命名空间中安装 Self Node Remediation Operator，在 Subscription CR 中指定 openshift-operators。
      2
      如果您的指定版本被目录中的后续版本取代，则将批准策略设置为 Manual。此计划阻止自动升级到更新的版本，且需要在启动 CSV 可以完成安装前手动批准。

    2. 要创建 Subscription CR，请运行以下命令： 

      $ oc create -f self-node-remediation-subscription.yaml
      Copy to Clipboard Toggle word wrap

验证

  1. 检查 CSV 资源来验证安装是否成功： 

    $ oc get csv -n self-node-remediation
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                               DISPLAY                          VERSION   REPLACES   PHASE
self-node-remediation.v.0.4.0      Self Node Remediation Operator   v.0.4.0              Succeeded
    Copy to Clipboard Toggle word wrap

  2. 验证 Self Node Remediation Operator 是否正在运行： 

    $ oc get deploy -n self-node-remediation
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
self-node-remediation-controller-manager    1/1     1            1           28h
    Copy to Clipboard Toggle word wrap

  3. 验证 Self Node Remediation Operator 是否已创建 SelfNodeRemediationConfig CR: 

    $ oc get selfnoderemediationconfig -n self-node-remediation
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                           AGE
self-node-remediation-config   28h
    Copy to Clipboard Toggle word wrap

  4. 验证每个自节点补救 pod 是否已调度并在每个 worker 节点上运行： 

    $ oc get daemonset -n self-node-remediation
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                      DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE SELECTOR  AGE
self-node-remediation-ds  3        3        3      3           3          <none>         28h
    Copy to Clipboard Toggle word wrap

    注意

    control plane 节点不支持这个命令。

使用以下步骤将机器健康检查配置为使用 Self Node Remediation Operator 作为补救供应商。

先决条件

  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 特权的用户身份登录。

流程

  1. 创建 SelfNodeRemediationTemplate CR：

    1. 定义 SelfNodeRemediationTemplate CR： 

      apiVersion: self-node-remediation.medik8s.io/v1alpha1
kind: SelfNodeRemediationTemplate
metadata:
  namespace: openshift-machine-api
  name: selfnoderemediationtemplate-sample
spec:
  template:
    spec:
      remediationStrategy: ResourceDeletion
      1
      Copy to Clipboard Toggle word wrap
      1
      指定补救策略。默认策略是 ResourceDeletion。

    2. 要创建 SelfNodeRemediationTemplate CR，请运行以下命令： 

      $ oc create -f <snr-name>.yaml
      Copy to Clipboard Toggle word wrap

  2. 创建或更新 MachineHealthCheck CR 以指向 SelfNodeRemediationTemplate CR：

    1. 定义或更新 MachineHealthCheck CR： 

      apiVersion: machine.openshift.io/v1beta1
kind: MachineHealthCheck
metadata:
  name: machine-health-check
  namespace: openshift-machine-api
spec:
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-machine-role: "worker"
      machine.openshift.io/cluster-api-machine-type: "worker"
  unhealthyConditions:
  - type:    "Ready"
    timeout: "300s"
    status: "False"
  - type:    "Ready"
    timeout: "300s"
    status: "Unknown"
  maxUnhealthy: "40%"
  nodeStartupTimeout: "10m"
  remediationTemplate:
      1 
      
    kind: SelfNodeRemediationTemplate
    apiVersion: self-node-remediation.medik8s.io/v1alpha1
    name: selfnoderemediationtemplate-sample
      Copy to Clipboard Toggle word wrap
      1
      指定补救模板的详情。

    2. 要创建 MachineHealthCheck CR，请运行以下命令： 

      $ oc create -f <file-name>.yaml
      Copy to Clipboard Toggle word wrap

    3. 要更新 MachineHealthCheck CR，请运行以下命令： 

      $ oc apply -f <file-name>.yaml
      Copy to Clipboard Toggle word wrap

6.6.5. 对自节点修复 Operator 进行故障排除
复制链接

6.6.5.1. 常规故障排除
复制链接

问题
您需要使用自助服务修复 Operator 排除问题。
解决方案
检查 Operator 日志。

6.6.5.2. 检查守护进程集
复制链接

问题
已安装 Self Node Remediation Operator，但守护进程集不可用。
解决方案
检查 Operator 日志中的错误或警告。

6.6.5.3. 失败的补救
复制链接

问题
一个不健康的节点没有被修复。
解决方案

运行以下命令验证 selfNodeRemediation CR 是否已创建： 

$ oc get snr -A
Copy to Clipboard Toggle word wrap

当节点处于不健康状态时，如果 MachineHealthCheck 控制器没有创建 SelfNodeRemediation CR，请检查 MachineHealthCheck 控制器的日志。此外，请确保 MachineHealthCheck CR 包含使用补救模板所需的规范。

如果创建了 SelfNodeRemediation CR，请确保其名称与不健康的节点或机器对象匹配。

问题
即使卸载 Operator 后，也会存在 Self Node Remediation Operator 资源，如守护进程集、配置 CR 和补救模板 CR。
解决方案

要删除 Self Node Remediation Operator 资源，请运行以下命令来删除每种资源类型的资源： 

$ oc delete ds <self-node-remediation-ds> -n <namespace>
Copy to Clipboard Toggle word wrap 
$ oc delete snrc <self-node-remediation-config> -n <namespace>
Copy to Clipboard Toggle word wrap 
$ oc delete snrt <self-node-remediation-template> -n <namespace>
Copy to Clipboard Toggle word wrap

6.6.6. 收集自节点修复 Operator 的数据
复制链接

要收集有关自助服务修复 Operator 的调试信息，请使用 must-gather 工具。有关 Self Node Remediation Operator 的 must-gather 镜像的详情，请参考收集有关特定功能的数据。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat