12.5.9. Elasticsearch 磁盘空间现为低
根据当前的磁盘使用情况,Elasticsearch 集群预计在以后的 6 小时内会耗尽磁盘空间。
故障排除
获取 Elasticsearch 节点的磁盘空间。
for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod -- df -h /elasticsearch/persistent; done
-
在命令输出中,检查
nodes.node_name.fs
字段以确定该节点上的可用磁盘空间。 - 尝试增加所有节点上的磁盘空间。
- 如果无法增加磁盘空间,请尝试向集群添加新数据节点。
如果添加新数据节点有问题,请减少集群冗余策略总数。
检查当前的
redundancyPolicy
。oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'
注意如果使用
ClusterLogging
CR,请输入:oc -n openshift-logging get cl -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
-
如果集群
redundancyPolicy
大于SingleRedundancy
,将其设置为SingleRedundancy
并保存这个更改。
如果前面的步骤没有解决这个问题,请删除旧的索引。
检查 Elasticsearch 上所有索引的状态。
oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- indices
- 确定可以删除的旧索引。
删除索引。
oc exec -n openshift-logging -c elasticsearch <elasticsearch_pod_name> -- es_util --query=<elasticsearch_index_name> -X DELETE
其他资源
-
在 About the Cluster Logging custom resource 的 "Sample
ClusterLogging
custom resource (CR)" 中搜索 "redundancyPolicy" - 在关于 Elasticsearch 警报规则中搜索 "ElasticsearchDiskSpaceRunningLow"。
- 在 Elasticsearch 中搜索 "Free up or increase disk space",Fix a red or yellow cluster status。