3.3. Dépannage des alertes de journalisation
Les procédures suivantes vous permettent de dépanner les alertes d’enregistrement sur votre cluster.
3.3.1. L’état de santé du cluster Elasticsearch est rouge Copier lienLien copié sur presse-papiers!
Au moins un fragment primaire et ses répliques ne sont pas attribués à un nœud. Appliquez la procédure suivante pour résoudre cette alerte.
Certaines commandes dans cette documentation font référence à un pod Elasticsearch en utilisant une variable shell $ES_POD_NAME. Lorsque vous souhaitez copier et coller les commandes directement à partir de cette documentation, vous devez définir cette variable sur une valeur valide pour votre cluster Elasticsearch.
Liste des pods Elasticsearch disponibles en exécutant la commande suivante:
oc -n openshift-logging get pods -l component=elasticsearch
$ oc -n openshift-logging get pods -l component=elasticsearch
Choisissez l’un des pods listés et définissez la variable $ES_POD_NAME, en exécutant la commande suivante:
export ES_POD_NAME=<elasticsearch_pod_name>
$ export ES_POD_NAME=<elasticsearch_pod_name>
Désormais, vous pouvez utiliser la variable $ES_POD_NAME dans les commandes.
Procédure
Consultez l’état de santé du cluster Elasticsearch et vérifiez que l’état du cluster est rouge en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- health
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- health
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Énumérez les nœuds qui ont rejoint le cluster en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/nodes?v
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/nodes?v
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Énumérez les pods Elasticsearch et comparez-les avec les nœuds de la sortie de commande de l’étape précédente, en exécutant la commande suivante:
oc -n openshift-logging get pods -l component=elasticsearch
$ oc -n openshift-logging get pods -l component=elasticsearch
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque certains des nœuds Elasticsearch n’ont pas rejoint le cluster, effectuez les étapes suivantes.
Confirmez que Elasticsearch a un nœud maître élu en exécutant la commande suivante et en observant la sortie:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/master?v
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/master?v
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Examinez les journaux de pod du nœud maître élu pour les problèmes en exécutant la commande suivante et en observant la sortie:
oc logs <elasticsearch_master_pod_name> -c elasticsearch -n openshift-logging
$ oc logs <elasticsearch_master_pod_name> -c elasticsearch -n openshift-logging
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Examinez les journaux des nœuds qui n’ont pas rejoint le cluster pour les problèmes en exécutant la commande suivante et en observant la sortie:
oc logs <elasticsearch_node_name> -c elasticsearch -n openshift-logging
$ oc logs <elasticsearch_node_name> -c elasticsearch -n openshift-logging
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
Lorsque tous les nœuds ont rejoint le cluster, vérifiez si le cluster est en cours de récupération en exécutant la commande suivante et en observant la sortie:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/recovery?active_only=true
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/recovery?active_only=true
Copy to Clipboard Copied! Toggle word wrap Toggle overflow En l’absence de sortie de commande, le processus de récupération peut être retardé ou bloqué par des tâches en attente.
Vérifiez s’il y a des tâches en attente en exécutant la commande suivante et en observant la sortie:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- health | grep number_of_pending_tasks
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- health | grep number_of_pending_tasks
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - En cas de tâches en attente, surveillez leur statut. Lorsque leur statut change et indique que le cluster est en cours de récupération, continuez à attendre. Le temps de récupération varie en fonction de la taille du cluster et d’autres facteurs. Dans le cas contraire, si le statut des tâches en attente ne change pas, cela indique que la récupération est bloquée.
Lorsqu’il semble que la récupération ait décroché, vérifiez si la valeur cluster.routing.allocation.enable n’est pas réglée, en exécutant la commande suivante et en observant la sortie:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/settings?pretty
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/settings?pretty
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la valeur cluster.routing.allocation.enable n’est pas définie, définissez-la à tous, en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/settings?pretty \ -X PUT -d '{"persistent": {"cluster.routing.allocation.enable":"all"}}'
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/settings?pretty \ -X PUT -d '{"persistent": {"cluster.routing.allocation.enable":"all"}}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Vérifiez si des indices sont encore rouges en exécutant la commande suivante et en observant la sortie:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/indices?v
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/indices?v
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque des indices sont encore rouges, essayez de les effacer en effectuant les étapes suivantes.
Effacer le cache en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_cache/clear?pretty
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_cache/clear?pretty
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Augmentez les retries d’allocation maximale en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_settings?pretty \ -X PUT -d '{"index.allocation.max_retries":10}'
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_settings?pretty \ -X PUT -d '{"index.allocation.max_retries":10}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Effacer tous les éléments de défilement en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_search/scroll/_all -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_search/scroll/_all -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Augmentez le délai d’exécution en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_settings?pretty \ -X PUT -d '{"index.unassigned.node_left.delayed_timeout":"10m"}'
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name>/_settings?pretty \ -X PUT -d '{"index.unassigned.node_left.delayed_timeout":"10m"}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
Lorsque les étapes précédentes n’effacent pas les indices rouges, supprimez les indices individuellement.
Identifiez le nom de l’index rouge en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/indices?v
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cat/indices?v
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Effacer l’index rouge en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_red_index_name> -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_red_index_name> -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
En l’absence d’indices rouges et l’état du cluster est rouge, vérifiez une charge de traitement lourde continue sur un nœud de données.
Vérifiez si l’utilisation d’Elasticsearch JVM Heap est élevée en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_nodes/stats?pretty
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_nodes/stats?pretty
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Dans la sortie de commande, examinez le champ node_name.jvm.mem.heap_used_percent pour déterminer l’utilisation de JVM Heap.
- Contrôlez l’utilisation élevée du CPU. En savoir plus sur l’utilitzation du CPU, consultez la documentation d’OpenShift Dedicated "Reviewing Monitoring dashboards".
3.3.2. L’état de santé du cluster Elasticsearch est jaune Copier lienLien copié sur presse-papiers!
Les fragments de réplique pour au moins un fragment primaire ne sont pas attribués aux nœuds. Augmentez le nombre de nœuds en ajustant la valeur nodeCount dans la ressource personnalisée ClusterLogging (CR).
3.3.3. Elasticsearch disque de nœud bas filigrane atteint Copier lienLien copié sur presse-papiers!
Elasticsearch n’attribue pas de fragments aux nœuds qui atteignent le filigrane bas.
Certaines commandes dans cette documentation font référence à un pod Elasticsearch en utilisant une variable shell $ES_POD_NAME. Lorsque vous souhaitez copier et coller les commandes directement à partir de cette documentation, vous devez définir cette variable sur une valeur valide pour votre cluster Elasticsearch.
Liste des pods Elasticsearch disponibles en exécutant la commande suivante:
oc -n openshift-logging get pods -l component=elasticsearch
$ oc -n openshift-logging get pods -l component=elasticsearch
Choisissez l’un des pods listés et définissez la variable $ES_POD_NAME, en exécutant la commande suivante:
export ES_POD_NAME=<elasticsearch_pod_name>
$ export ES_POD_NAME=<elasticsearch_pod_name>
Désormais, vous pouvez utiliser la variable $ES_POD_NAME dans les commandes.
Procédure
Identifiez le nœud sur lequel Elasticsearch est déployé en exécutant la commande suivante:
oc -n openshift-logging get po -o wide
$ oc -n openshift-logging get po -o wide
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Vérifiez s’il y a des éclats non attribués en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/health?pretty | grep unassigned_shards
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/health?pretty | grep unassigned_shards
Copy to Clipboard Copied! Toggle word wrap Toggle overflow En cas de fragments non attribués, vérifiez l’espace disque de chaque nœud, en exécutant la commande suivante:
for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
$ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Dans la sortie de commande, cochez la colonne Utiliser pour déterminer le pourcentage de disque utilisé sur ce nœud.
Exemple de sortie
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque le pourcentage de disque utilisé est supérieur à 85 %, le nœud a dépassé le filigrane bas, et les éclats ne peuvent plus être attribués à ce nœud.
Afin de vérifier la redondance actuelle, exécutez la commande suivante:
oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
$ oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque vous utilisez une ressource ClusterLogging sur votre cluster, exécutez la commande suivante:
oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
$ oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la valeur de redondance du cluster est supérieure à la valeur SingleRedundancy, définissez-la sur la valeur SingleRedundancy et enregistrez ce changement.
Lorsque les étapes précédentes ne règlent pas le problème, supprimez les anciens indices.
Consultez l’état de tous les indices sur Elasticsearch en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Identifiez un ancien index qui peut être supprimé.
Effacer l’index en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.4. Elasticsearch disque de nœud haute filigrane atteint Copier lienLien copié sur presse-papiers!
Elasticsearch tente de déplacer des fragments loin d’un nœud qui a atteint le filigrane élevé vers un nœud avec une faible utilisation du disque qui n’a franchi aucune limite de seuil de filigrane.
Afin d’attribuer des éclats à un nœud particulier, vous devez libérer de l’espace sur ce nœud. Lorsque l’augmentation de l’espace disque n’est pas possible, essayez d’ajouter un nouveau nœud de données au cluster ou diminuez la politique de redondance totale des clusters.
Certaines commandes dans cette documentation font référence à un pod Elasticsearch en utilisant une variable shell $ES_POD_NAME. Lorsque vous souhaitez copier et coller les commandes directement à partir de cette documentation, vous devez définir cette variable sur une valeur valide pour votre cluster Elasticsearch.
Liste des pods Elasticsearch disponibles en exécutant la commande suivante:
oc -n openshift-logging get pods -l component=elasticsearch
$ oc -n openshift-logging get pods -l component=elasticsearch
Choisissez l’un des pods listés et définissez la variable $ES_POD_NAME, en exécutant la commande suivante:
export ES_POD_NAME=<elasticsearch_pod_name>
$ export ES_POD_NAME=<elasticsearch_pod_name>
Désormais, vous pouvez utiliser la variable $ES_POD_NAME dans les commandes.
Procédure
Identifiez le nœud sur lequel Elasticsearch est déployé en exécutant la commande suivante:
oc -n openshift-logging get po -o wide
$ oc -n openshift-logging get po -o wide
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Consultez l’espace disque de chaque nœud:
for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
$ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Vérifiez si le cluster est en train de rééquilibrer:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/health?pretty | grep relocating_shards
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_cluster/health?pretty | grep relocating_shards
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la sortie de commande montre le déplacement des éclats, le filigrane élevé a été dépassé. La valeur par défaut du filigrane élevé est de 90%.
- Augmentez l’espace disque sur tous les nœuds. Lorsque l’augmentation de l’espace disque n’est pas possible, essayez d’ajouter un nouveau nœud de données au cluster ou diminuez la politique de redondance totale des clusters.
Afin de vérifier la redondance actuelle, exécutez la commande suivante:
oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
$ oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque vous utilisez une ressource ClusterLogging sur votre cluster, exécutez la commande suivante:
oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
$ oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la valeur de redondance du cluster est supérieure à la valeur SingleRedundancy, définissez-la sur la valeur SingleRedundancy et enregistrez ce changement.
Lorsque les étapes précédentes ne règlent pas le problème, supprimez les anciens indices.
Consultez l’état de tous les indices sur Elasticsearch en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Identifiez un ancien index qui peut être supprimé.
Effacer l’index en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.5. Elasticsearch node disque d’inondation filigrane atteint Copier lienLien copié sur presse-papiers!
Elasticsearch applique un bloc d’index en lecture seule sur chaque index qui a ces deux conditions:
- Il y a un ou plusieurs éclats qui sont attribués au nœud.
- Il y a un ou plusieurs disques qui dépassent le stade d’inondation.
Appliquez la procédure suivante pour résoudre cette alerte.
Certaines commandes dans cette documentation font référence à un pod Elasticsearch en utilisant une variable shell $ES_POD_NAME. Lorsque vous souhaitez copier et coller les commandes directement à partir de cette documentation, vous devez définir cette variable sur une valeur valide pour votre cluster Elasticsearch.
Liste des pods Elasticsearch disponibles en exécutant la commande suivante:
oc -n openshift-logging get pods -l component=elasticsearch
$ oc -n openshift-logging get pods -l component=elasticsearch
Choisissez l’un des pods listés et définissez la variable $ES_POD_NAME, en exécutant la commande suivante:
export ES_POD_NAME=<elasticsearch_pod_name>
$ export ES_POD_NAME=<elasticsearch_pod_name>
Désormais, vous pouvez utiliser la variable $ES_POD_NAME dans les commandes.
Procédure
Bénéficiez de l’espace disque du nœud Elasticsearch:
for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
$ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Dans la sortie de commande, vérifiez la colonne Avail pour déterminer l’espace disque libre sur ce nœud.
Exemple de sortie
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Augmentez l’espace disque sur tous les nœuds. Lorsque l’augmentation de l’espace disque n’est pas possible, essayez d’ajouter un nouveau nœud de données au cluster ou diminuez la politique de redondance totale des clusters.
Afin de vérifier la redondance actuelle, exécutez la commande suivante:
oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
$ oc -n openshift-logging get es elasticsearch \ -o jsonpath='{.spec.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque vous utilisez une ressource ClusterLogging sur votre cluster, exécutez la commande suivante:
oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
$ oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la valeur de redondance du cluster est supérieure à la valeur SingleRedundancy, définissez-la sur la valeur SingleRedundancy et enregistrez ce changement.
Lorsque les étapes précédentes ne règlent pas le problème, supprimez les anciens indices.
Consultez l’état de tous les indices sur Elasticsearch en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Identifiez un ancien index qui peut être supprimé.
Effacer l’index en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
Continuez à libérer et à surveiller l’espace disque. Après que l’espace disque utilisé tombe en dessous de 90%, débloquez l’écriture sur ce nœud en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_all/_settings?pretty \ -X PUT -d '{"index.blocks.read_only_allow_delete": null}'
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=_all/_settings?pretty \ -X PUT -d '{"index.blocks.read_only_allow_delete": null}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.6. Elasticsearch JVM heap utilisation est élevé Copier lienLien copié sur presse-papiers!
La mémoire de tas du nœud Elasticsearch Java (JVM) utilisée est supérieure à 75%. Envisagez d’augmenter la taille du tas.
3.3.7. Le CPU du système de journalisation agrégé est élevé Copier lienLien copié sur presse-papiers!
L’utilisation du CPU système sur le nœud est élevée. Cochez le CPU du nœud cluster. Envisagez d’allouer plus de ressources CPU au nœud.
3.3.8. Elasticsearch process CPU est élevé Copier lienLien copié sur presse-papiers!
L’utilisation du CPU de processus Elasticsearch sur le nœud est élevée. Cochez le CPU du nœud cluster. Envisagez d’allouer plus de ressources CPU au nœud.
3.3.9. L’espace disque Elasticsearch est faible Copier lienLien copié sur presse-papiers!
Elasticsearch devrait manquer d’espace disque dans les 6 prochaines heures en fonction de l’utilisation actuelle du disque. Appliquez la procédure suivante pour résoudre cette alerte.
Procédure
Bénéficiez de l’espace disque du nœud Elasticsearch:
for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
$ for pod in `oc -n openshift-logging get po -l component=elasticsearch -o jsonpath='{.items[*].metadata.name}'`; \ do echo $pod; oc -n openshift-logging exec -c elasticsearch $pod \ -- df -h /elasticsearch/persistent; done
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Dans la sortie de commande, vérifiez la colonne Avail pour déterminer l’espace disque libre sur ce nœud.
Exemple de sortie
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Augmentez l’espace disque sur tous les nœuds. Lorsque l’augmentation de l’espace disque n’est pas possible, essayez d’ajouter un nouveau nœud de données au cluster ou diminuez la politique de redondance totale des clusters.
Afin de vérifier la redondance actuelle, exécutez la commande suivante:
oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'
$ oc -n openshift-logging get es elasticsearch -o jsonpath='{.spec.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque vous utilisez une ressource ClusterLogging sur votre cluster, exécutez la commande suivante:
oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
$ oc -n openshift-logging get cl \ -o jsonpath='{.items[*].spec.logStore.elasticsearch.redundancyPolicy}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Lorsque la valeur de redondance du cluster est supérieure à la valeur SingleRedundancy, définissez-la sur la valeur SingleRedundancy et enregistrez ce changement.
Lorsque les étapes précédentes ne règlent pas le problème, supprimez les anciens indices.
Consultez l’état de tous les indices sur Elasticsearch en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME -- indices
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - Identifiez un ancien index qui peut être supprimé.
Effacer l’index en exécutant la commande suivante:
oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
$ oc exec -n openshift-logging -c elasticsearch $ES_POD_NAME \ -- es_util --query=<elasticsearch_index_name> -X DELETE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.10. Elasticsearch FileDescriptor utilisation est élevé Copier lienLien copié sur presse-papiers!
En fonction des tendances actuelles d’utilisation, le nombre prévu de descripteurs de fichiers sur le nœud est insuffisant. Cochez la valeur de max_file_descriptors pour chaque nœud tel que décrit dans la documentation des Descripteurs de fichiers Elasticsearch.