第 6 章 使用节点健康检查修复节点
您可以使用 Node Health Check Operator 来识别不健康的节点。Operator 使用 Self Node Remediation Operator 来修复不健康的节点。
如需有关 Self Node Remediation Operator 的更多信息,请参阅使用自节点修复 章节。
由于 Red Hat OpenShift Service on AWS (ROSA)集群上存在预安装的机器健康检查,Node Health Check Operator 无法在此环境中正常工作。
6.1. 关于 Node Health Check Operator
Node Health Check Operator 检测到集群中的节点的健康状态。NodeHealthCheck
控制器创建 NodeHealthCheck
自定义资源(CR),它定义了一组条件和阈值来确定节点的健康状态。
Node Health Check Operator 还将 Self Node Remediation Operator 安装为默认的补救提供程序。
当 Node Health Check Operator 检测到不健康的节点时,它会创建一个补救 CR 触发补救供应商。例如,控制器创建 SelfNodeRemediation
CR,它会触发 Self Node Remediation Operator 来修复不健康的节点。
NodeHealthCheck
CR 类似于以下 YAML 文件,self-node-remediation 作为补救供应商:
apiVersion: remediation.medik8s.io/v1alpha1 kind: NodeHealthCheck metadata: name: nodehealthcheck-sample spec: minHealthy: 51% 1 pauseRequests: 2 - <pause-test-cluster> remediationTemplate: 3 apiVersion: self-node-remediation.medik8s.io/v1alpha1 name: self-node-remediation-resource-deletion-template namespace: openshift-workload-availability kind: SelfNodeRemediationTemplate escalatingRemediations: 4 - remediationTemplate: apiVersion: self-node-remediation.medik8s.io/v1alpha1 name: self-node-remediation-resource-deletion-template namespace: openshift-workload-availability kind: SelfNodeRemediationTemplate order: 1 timeout: 300s selector: 5 matchExpressions: - key: node-role.kubernetes.io/worker operator: Exists unhealthyConditions: 6 - type: Ready status: "False" duration: 300s 7 - type: Ready status: Unknown duration: 300s 8
- 1
- 指定补救供应商同时修复目标池中节点所需的健康节点数量(以百分比或数量)。如果健康节点的数量等于或超过
minHealthy
设定的限制,则会出现补救。默认值为 51%。 - 2
- 防止任何新的补救启动,同时允许持续补救保留。默认值为空。但是,您可以输入字符串数组来识别暂停补救的原因。例如
pause-test-cluster
。注意在升级过程中,集群中的节点可能会临时不可用,并被识别为不健康。对于 worker 节点,当 Operator 检测到集群正在升级时,它会停止修复新的不健康节点,以防止此类节点重新引导。
- 3
- 指定补救供应商的补救模板。例如,通过 Self Node Remediation Operato。
remediationTemplate
与escalatingRemediations
相互排斥。 - 4
- 使用 order 和 timeout 字段指定
RemediationTemplates
列表。要获得健康的节点,请使用此字段序列并配置多个补救。此策略提高了获取健康节点的可能性,而不是基于可能不成功的单一补救。order
字段决定调用补救的顺序(低顺序 = 早期调用)。timeout
字段决定何时调用下一个补救。escalatingRemediations
与remediationTemplate
相互排斥。 - 5
- 指定与要检查的标签或表达式匹配的选择器。避免在一个 CR 中同时选择 control-plane 和 worker 节点。
- 6
- 指定决定节点是否被视为不健康的条件列表。
- 7 8
- 指定节点状况的超时持续时间。如果在超时时间内满足了条件,则会修复该节点。超时时间较长可能会导致不健康节点上的工作负载长时间停机。
NodeHealthCheck
CR 类似于以下 YAML 文件,metal3 作为补救供应商:
apiVersion: remediation.medik8s.io/v1alpha1 kind: NodeHealthCheck metadata: name: nhc-worker-metal3 spec: minHealthy: 30% remediationTemplate: apiVersion: infrastructure.cluster.x-k8s.io/v1beta1 kind: Metal3RemediationTemplate name: metal3-remediation namespace: openshift-machine-api selector: matchExpressions: - key: node-role.kubernetes.io/worker operator: Exists unhealthyConditions: - duration: 300s status: 'False' type: Ready - duration: 300s status: 'Unknown' type: Ready
matchExpressions
只是示例;您必须根据具体需求映射您的机器组。
Metal3RemediationTemplate
类似于以下 YAML 文件,metal3 作为补救供应商:
apiVersion: infrastructure.cluster.x-k8s.io/v1beta1 kind: Metal3RemediationTemplate metadata: name: metal3-remediation namespace: openshift-machine-api spec: template: spec: strategy: retryLimit: 1 timeout: 5m0s type: Reboot
除了创建 NodeHealthCheck
CR 外,还必须创建 Metal3RemediationTemplate
。
6.1.1. 了解 Node Health Check Operator 工作流
当节点标识为不健康状态时,Node Health Check Operator 会检查其他节点不健康的数量。如果健康的节点数量超过 NodeHealthCheck
CR 的 minHealthy
字段中指定的数量,控制器会从补救供应商在外部补救模板中提供的详细信息创建一个补救 CR。补救后,kubelet 会更新节点的健康状况。
当节点处于健康状态时,控制器会删除外部补救模板。
6.1.2. 关于节点健康检查如何防止与机器健康检查冲突
当同时部署节点健康检查和机器健康检查时,节点健康检查会避免与机器健康检查冲突。
Red Hat OpenShift 将 machine-api-termination-handler
部署为默认的 MachineHealthCheck
资源。
以下列表概述了部署节点健康检查和机器健康检查时的系统行为:
如果只有默认机器健康检查,则节点健康检查将继续识别不健康的节点。但是,节点健康检查会忽略处于 Terminating 状态的不健康节点。默认机器健康检查处理处于 Terminating 状态的不健康节点。
日志消息示例
INFO MHCChecker ignoring unhealthy Node, it is terminating and will be handled by MHC {"NodeName": "node-1.example.com"}
如果修改了默认机器健康检查(例如,
unhealthyConditions
为Ready
),或者是否创建额外的机器健康检查,则节点健康检查被禁用。日志消息示例
INFO controllers.NodeHealthCheck disabling NHC in order to avoid conflict with custom MHCs configured in the cluster {"NodeHealthCheck": "/nhc-worker-default"}
当只存在默认的机器健康检查,则会重新启用节点健康检查。
日志消息示例
INFO controllers.NodeHealthCheck re-enabling NHC, no conflicting MHC configured in the cluster {"NodeHealthCheck": "/nhc-worker-default"}