12.3. 日志记录警报故障排除

流程

1. 运行以下命令，检查 Elasticsearch 集群健康状况并 验证集群状态 是否为红色：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- health

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，列出已加入集群的节点：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cat/nodes?v

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，列出 Elasticsearch Pod，并将它们与上一步中的命令输出中的节点进行比较：

   $ oc -n openshift-logging get pods -l component=elasticsearch

   Copy to Clipboard Toggle word wrap

4. 如果某些 Elasticsearch 节点没有加入集群，请执行以下步骤。

   1. 运行以下命令并查看输出，确认 Elasticsearch 已选定 master 节点：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
        -- es_util --query=_cat/master?v

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令，并查看所选 master 节点的 pod 日志问题：

      $ oc logs <elasticsearch_master_pod_name> -c elasticsearch -n openshift-logging

      Copy to Clipboard Toggle word wrap

   3. 运行以下命令并查看没有加入集群的节点日志：

      $ oc logs <elasticsearch_node_name> -c elasticsearch -n openshift-logging

      Copy to Clipboard Toggle word wrap

5. 如果所有节点都已加入集群，请运行以下命令检查集群是否处于恢复过程中，并观察输出：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cat/recovery?active_only=true

   Copy to Clipboard Toggle word wrap

   如果没有命令输出，恢复过程可能会因为待处理的任务而延迟或停止。

6. 运行以下命令并查看输出，检查是否有待处理的任务：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- health | grep number_of_pending_tasks

   Copy to Clipboard Toggle word wrap
7. 如果有待处理的任务，请监控其状态。如果它们的状态发生变化，并且表示集群正在恢复，请继续等待。恢复时间因集群大小和其它因素而异。否则，如果待处理任务的状态没有改变，这表示恢复已停止。

8. 如果恢复似乎已停止，请运行以下命令检查 cluster.routing.allocation.enable 值设置为 none，然后观察输出：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cluster/settings?pretty

   Copy to Clipboard Toggle word wrap

9. 如果 cluster.routing.allocation.enable 被设为 none，请运行以下命令将其设置为 all ：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cluster/settings?pretty \
     -X PUT -d '{"persistent": {"cluster.routing.allocation.enable":"all"}}'

   Copy to Clipboard Toggle word wrap

10. 运行以下命令并查看输出，检查任何索引仍然是红色的：

    $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
      -- es_util --query=_cat/indices?v

    Copy to Clipboard Toggle word wrap

11. 如果有任何索引仍然是红色的，请尝试通过执行以下步骤清除它们。

    1. 运行以下命令来清除缓存：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=<elasticsearch_index_name>/_cache/clear?pretty

       Copy to Clipboard Toggle word wrap

    2. 运行以下命令来增加最大分配重试次数：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=<elasticsearch_index_name>/_settings?pretty \
         -X PUT -d '{"index.allocation.max_retries":10}'

       Copy to Clipboard Toggle word wrap

    3. 运行以下命令来删除所有滚动项：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=_search/scroll/_all -X DELETE

       Copy to Clipboard Toggle word wrap

    4. 运行以下命令来增加超时：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=<elasticsearch_index_name>/_settings?pretty \
         -X PUT -d '{"index.unassigned.node_left.delayed_timeout":"10m"}'

       Copy to Clipboard Toggle word wrap

12. 如果前面的步骤没有清除红色索引，请单独删除索引。

    1. 运行以下命令来识别红色索引名称：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=_cat/indices?v

       Copy to Clipboard Toggle word wrap

    2. 运行以下命令来删除红色索引：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=<elasticsearch_red_index_name> -X DELETE

       Copy to Clipboard Toggle word wrap

13. 如果没有红色索引且集群状态为红色，请在数据节点上检查是否有连续重量处理负载。

    1. 运行以下命令，检查 Elasticsearch JVM 堆使用率是否高：

       $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
         -- es_util --query=_nodes/stats?pretty

       Copy to Clipboard Toggle word wrap

       在命令输出中，检查 node_name.jvm.mem.heap_used_percent 字段，以确定 JVM Heap 使用量。

    2. 检查高 CPU 使用率。有关 CPU utilitzation 的更多信息，请参阅 Red Hat OpenShift Service on AWS "Reviewing monitoring dashboard" 文档。

流程

1. 运行以下命令，识别在其上部署 Elasticsearch 的节点：

   $ oc -n openshift-logging get po -o wide

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，检查是否有未分配的分片：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cluster/health?pretty | grep unassigned_shards

   Copy to Clipboard Toggle word wrap

3. 如果存在未分配的分片，请运行以下命令检查每个节点上的磁盘空间：

   $ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \
     do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \
     -- df -h /elasticsearch/persistent; done

   Copy to Clipboard Toggle word wrap

4. 在命令输出中，检查 Use 列以确定该节点上使用的磁盘百分比。

   输出示例

   elasticsearch-cdm-kcrsda6l-1-586cc95d4f-h8zq8
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme1n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-2-5b548fc7b-cwwk7
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme2n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-3-5dfc884d99-59tjw
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme3n1     19G  528M   19G   3% /elasticsearch/persistent

   Copy to Clipboard Toggle word wrap

   如果使用的磁盘百分比超过 85%，则节点已超过低水位线，并且分片无法再分配给此节点。

5. 要检查当前的 redundancyPolicy，请运行以下命令：

   $ oc -n openshift-logging get es elasticsearch \
     -o jsonpath='{.spec.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果在集群中使用 ClusterLogging 资源，请运行以下命令：

   $ oc -n openshift-logging get cl \
     -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果集群 redundancyPolicy 值高于 SingleRedundancy 值，将其设置为 SingleRedundancy 值并保存这个更改。

6. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 运行以下命令，检查 Elasticsearch 上所有索引的状态：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices

      Copy to Clipboard Toggle word wrap
   2. 确定可以删除的旧索引。

   3. 运行以下命令来删除索引：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
        -- es_util --query=<elasticsearch_index_name> -X DELETE

      Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，识别在其上部署 Elasticsearch 的节点：

   $ oc -n openshift-logging get po -o wide

   Copy to Clipboard Toggle word wrap

2. 检查每个节点上的磁盘空间：

   $ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \
     do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \
     -- df -h /elasticsearch/persistent; done

   Copy to Clipboard Toggle word wrap

3. 检查集群是否重新平衡：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_cluster/health?pretty | grep relocating_shards

   Copy to Clipboard Toggle word wrap

   如果命令输出显示重新定位分片，则代表超过了高水位线。高水位线的默认值为 90%。

4. 增加所有节点上的磁盘空间。如果无法增加磁盘空间，请尝试向集群添加新数据节点，或者减少集群冗余策略总数。

5. 要检查当前的 redundancyPolicy，请运行以下命令：

   $ oc -n openshift-logging get es elasticsearch \
     -o jsonpath='{.spec.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果在集群中使用 ClusterLogging 资源，请运行以下命令：

   $ oc -n openshift-logging get cl \
     -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果集群 redundancyPolicy 值高于 SingleRedundancy 值，将其设置为 SingleRedundancy 值并保存这个更改。

6. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 运行以下命令，检查 Elasticsearch 上所有索引的状态：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices

      Copy to Clipboard Toggle word wrap
   2. 确定可以删除的旧索引。

   3. 运行以下命令来删除索引：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
        -- es_util --query=<elasticsearch_index_name> -X DELETE

      Copy to Clipboard Toggle word wrap

流程

1. 获取 Elasticsearch 节点的磁盘空间：

   $ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \
     do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \
     -- df -h /elasticsearch/persistent; done

   Copy to Clipboard Toggle word wrap

2. 在命令输出中，检查 Avail 列以确定该节点上的可用磁盘空间。

   输出示例

   elasticsearch-cdm-kcrsda6l-1-586cc95d4f-h8zq8
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme1n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-2-5b548fc7b-cwwk7
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme2n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-3-5dfc884d99-59tjw
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme3n1     19G  528M   19G   3% /elasticsearch/persistent

   Copy to Clipboard Toggle word wrap

3. 增加所有节点上的磁盘空间。如果无法增加磁盘空间，请尝试向集群添加新数据节点，或者减少集群冗余策略总数。

4. 要检查当前的 redundancyPolicy，请运行以下命令：

   $ oc -n openshift-logging get es elasticsearch \
     -o jsonpath='{.spec.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果在集群中使用 ClusterLogging 资源，请运行以下命令：

   $ oc -n openshift-logging get cl \
     -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果集群 redundancyPolicy 值高于 SingleRedundancy 值，将其设置为 SingleRedundancy 值并保存这个更改。

5. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 运行以下命令，检查 Elasticsearch 上所有索引的状态：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices

      Copy to Clipboard Toggle word wrap
   2. 确定可以删除的旧索引。

   3. 运行以下命令来删除索引：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
        -- es_util --query=<elasticsearch_index_name> -X DELETE

      Copy to Clipboard Toggle word wrap

6. 继续释放和监控磁盘空间。在使用的磁盘空间低于 90% 后，运行以下命令来取消阻塞写入此节点：

   $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
     -- es_util --query=_all/_settings?pretty \
     -X PUT -d '{"index.blocks.read_only_allow_delete": null}'

   Copy to Clipboard Toggle word wrap

流程

1. 获取 Elasticsearch 节点的磁盘空间：

   $ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \
     do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \
     -- df -h /elasticsearch/persistent; done

   Copy to Clipboard Toggle word wrap

2. 在命令输出中，检查 Avail 列以确定该节点上的可用磁盘空间。

   输出示例

   elasticsearch-cdm-kcrsda6l-1-586cc95d4f-h8zq8
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme1n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-2-5b548fc7b-cwwk7
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme2n1     19G  522M   19G   3% /elasticsearch/persistent
   elasticsearch-cdm-kcrsda6l-3-5dfc884d99-59tjw
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/nvme3n1     19G  528M   19G   3% /elasticsearch/persistent

   Copy to Clipboard Toggle word wrap

3. 增加所有节点上的磁盘空间。如果无法增加磁盘空间，请尝试向集群添加新数据节点，或者减少集群冗余策略总数。

4. 要检查当前的 redundancyPolicy，请运行以下命令：

   $ oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果在集群中使用 ClusterLogging 资源，请运行以下命令：

   $ oc -n openshift-logging get cl \
     -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'

   Copy to Clipboard Toggle word wrap

   如果集群 redundancyPolicy 值高于 SingleRedundancy 值，将其设置为 SingleRedundancy 值并保存这个更改。

5. 如果前面的步骤没有解决这个问题，请删除旧的索引。

   1. 运行以下命令，检查 Elasticsearch 上所有索引的状态：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices

      Copy to Clipboard Toggle word wrap
   2. 确定可以删除的旧索引。

   3. 运行以下命令来删除索引：

      $ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \
        -- es_util --query=<elasticsearch_index_name> -X DELETE

      Copy to Clipboard Toggle word wrap