16.5. 关键警报故障排除

故障排除

1. 检查 Elasticsearch 集群健康状态，并验证集群的 status 是否为红色。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- health

2. 列出已加入集群的节点。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cat/nodes?v

3. 列出 Elasticsearch Pod，并将它们与上一步中命令输出中的节点进行比较。

   oc -n openshift-logging get pods -l component=elasticsearch

4. 如果某些 Elasticsearch 节点没有加入集群，请执行以下步骤。

   1. 确认 Elasticsearch 已选定 control plane 节点。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cat/master?v

   2. 检查所选 control plane 节点的 pod 日志问题。

      oc logs <elasticsearch_master_pod_name> -c elasticsearch -n openshift-logging

   3. 检查尚未加入集群的节点日志。

      oc logs <elasticsearch_node_name> -c elasticsearch -n openshift-logging

5. 如果所有节点都加入集群，请执行以下步骤，检查集群是否正在进行恢复。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cat/recovery?active_only=true

   如果没有命令输出，恢复过程可能会因为待处理的任务而延迟或停止。

6. 检查是否有待处理的任务。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- health |grep  number_of_pending_tasks

7. 如果有待处理的任务，请监控其状态。

   如果它们的状态发生变化，并且表示集群正在恢复，请继续等待。恢复时间因集群大小和其它因素而异。

   否则，如果待处理任务的状态没有改变，这表示恢复已停止。

8. 如果恢复似乎已停止，请检查 cluster.routing.allocation.enable 是否设置为 none。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cluster/settings?pretty

9. 如果 cluster.routing.allocation.enable 设为 none，请将它设置为 all。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cluster/settings?pretty -X PUT -d '{"persistent": {"cluster.routing.allocation.enable":"all"}}'

10. 检查哪些索引仍然是红色的。

    oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cat/indices?v

11. 如果有任何索引仍然是红色的，请尝试通过执行以下步骤清除它们。

    1. 清除缓存。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name>/_cache/clear?pretty

    2. 增加最大分配重试数。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name>/_settings?pretty -X PUT -d '{"index.allocation.max_retries":10}'

    3. 删除所有滚动项目。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_search/scroll/_all -X DELETE

    4. 增加超时时间。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name>/_settings?pretty -X PUT -d '{"index.unassigned.node_left.delayed_timeout":"10m"}'

12. 如果前面的步骤没有清除红色索引，请单独删除索引。

    1. 标识红色索引名称。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cat/indices?v

    2. 删除红色索引。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_red_index_name> -X DELETE

13. 如果没有红色索引且集群状态为红色，请在数据节点上检查是否有连续重量处理负载。

    1. 检查 Elasticsearch JVM 堆使用量是否很高。

       oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_nodes/stats?pretty

       在命令输出中，检查 node_name.jvm.mem.heap_used_percent 字段，以确定 JVM Heap 使用量。

    2. 检查高 CPU 使用率。

故障排除

1. 通过调整 ClusterLogging CR 中的 nodeCount 来增加节点数。

故障排除

1. 识别要在其上部署 Elasticsearch 的节点。

   oc -n openshift-logging get po -o wide

2. 检查是否有未分配的分片。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cluster/health?pretty | grep unassigned_shards

3. 如果存在未分配的分片，请检查每个节点上的磁盘空间。

   for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod -- df -h /elasticsearch/persistent; done

4. 检查 nodes.node_name.fs 字段，以确定该节点上的可用磁盘空间。

   如果使用的磁盘百分比超过 85%，则节点已超过低水位线，并且分片无法再分配给此节点。

5. 尝试增加所有节点上的磁盘空间。
6. 如果无法增加磁盘空间，请尝试向集群添加新数据节点。

7. 如果添加新数据节点有问题，请减少集群冗余策略总数。

   1. 检查当前的 redundancyPolicy。

      oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'

      注意

      如果使用 ClusterLogging CR，请输入：

      oc -n openshift-logging get cl -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   2. 如果集群 redundancyPolicy 大于 SingleRedundancy，将其设置为 SingleRedundancy 并保存这个更改。

8. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 检查 Elasticsearch 上所有索引的状态。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- indices

   2. 确定可以删除的旧索引。

   3. 删除索引。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name> -X DELETE

故障排除

1. 识别要在其上部署 Elasticsearch 的节点。

   oc -n openshift-logging get po -o wide

2. 检查每个节点上的磁盘空间。

   for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod -- df -h /elasticsearch/persistent; done

3. 检查集群是否重新平衡。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_cluster/health?pretty | grep relocating_shards

   如果命令输出显示重新定位分片，则代表超过了高水位线（High Watermark）。High Watermark 的默认值为 90%。

   分片重新定位到磁盘使用率较低且未超过任何水位线阈值的节点。

4. 若要将分片分配到特定节点，请释放一些空间。
5. 尝试增加所有节点上的磁盘空间。
6. 如果无法增加磁盘空间，请尝试向集群添加新数据节点。

7. 如果添加新数据节点有问题，请减少集群冗余策略总数。

   1. 检查当前的 redundancyPolicy。

      oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'

      注意

      如果使用 ClusterLogging CR，请输入：

      oc -n openshift-logging get cl -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   2. 如果集群 redundancyPolicy 大于 SingleRedundancy，将其设置为 SingleRedundancy 并保存这个更改。

8. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 检查 Elasticsearch 上所有索引的状态。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- indices

   2. 确定可以删除的旧索引。

   3. 删除索引。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name> -X DELETE

故障排除

1. 检查 Elasticsearch 节点的磁盘空间。

   for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod -- df -h /elasticsearch/persistent; done

   检查 nodes.node_name.fs 字段，以确定该节点上的可用磁盘空间。

2. 如果使用的磁盘百分比超过 95%，这表明该节点已跨过洪水水位线。对于在此特定节点上分配的分片，写入被阻止。
3. 尝试增加所有节点上的磁盘空间。
4. 如果无法增加磁盘空间，请尝试向集群添加新数据节点。

5. 如果添加新数据节点有问题，请减少集群冗余策略总数。

   1. 检查当前的 redundancyPolicy。

      oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'

      注意

      如果使用 ClusterLogging CR，请输入：

      oc -n openshift-logging get cl -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   2. 如果集群 redundancyPolicy 大于 SingleRedundancy，将其设置为 SingleRedundancy 并保存这个更改。

6. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 检查 Elasticsearch 上所有索引的状态。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- indices

   2. 确定可以删除的旧索引。

   3. 删除索引。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name> -X DELETE

7. 继续释放和监控磁盘空间，直到使用的磁盘空间下降到 90% 以下。然后，取消阻塞写入此特定节点。

   oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=_all/_settings?pretty -X PUT -d '{"index.blocks.read_only_allow_delete": null}'

故障排除

1. 获取 Elasticsearch 节点的磁盘空间。

   for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod -- df -h /elasticsearch/persistent; done

2. 在命令输出中，检查 nodes.node_name.fs 字段以确定该节点上的可用磁盘空间。
3. 尝试增加所有节点上的磁盘空间。
4. 如果无法增加磁盘空间，请尝试向集群添加新数据节点。

5. 如果添加新数据节点有问题，请减少集群冗余策略总数。

   1. 检查当前的 redundancyPolicy。

      oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'

      注意

      如果使用 ClusterLogging CR，请输入：

      oc -n openshift-logging get cl -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   2. 如果集群 redundancyPolicy 大于 SingleRedundancy，将其设置为 SingleRedundancy 并保存这个更改。

6. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 检查 Elasticsearch 上所有索引的状态。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- indices

   2. 确定可以删除的旧索引。

   3. 删除索引。

      oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name> -X DELETE