13장. 로깅 경고
13.1. 기본 로깅 경고
로깅 경고는 Red Hat OpenShift Logging Operator 설치의 일부로 설치됩니다. 경고는 로그 수집 및 로그 스토리지 백엔드에서 내보낸 메트릭에 따라 달라집니다. Red Hat OpenShift Logging Operator를 설치할 때 이 네임스페이스에서 Operator 권장 클러스터 모니터링을 활성화하는 옵션을 선택한 경우 이러한 메트릭이 활성화 됩니다. 로깅 Operator 설치에 대한 자세한 내용은 웹 콘솔을 사용하여 로깅 설치를 참조하십시오.
로컬 Alertmanager 인스턴스를 비활성화하지 않은 경우 기본 로깅 경고는 openshift-monitoring 네임스페이스의 AWS 모니터링 스택 Alertmanager로 Red Hat OpenShift Service로 전송됩니다.
13.1.1. 관리자 및 개발자 관점에서 경고 UI에 액세스
경고 UI는 AWS 웹 콘솔에서 Red Hat OpenShift Service의 관리자 관점과 개발자 화면을 통해 액세스할 수 있습니다.
-
관리자 관점에서 모니터링
경고 로 이동합니다. 이 관점에서 경고 UI의 세 가지 주요 페이지는 경고,음소거 및 경고 규칙 페이지입니다.
-
개발자 관점에서 Observe
< project_name> 경고 로 이동합니다. 이 관점에서 경고, 음소거 및 경고 규칙은 모두 경고 페이지에서 관리됩니다. 경고 페이지에 표시된 결과는 선택한 프로젝트에 특정적입니다.
개발자 관점에서 AWS의 코어 Red Hat OpenShift Service 및 프로젝트: <project_name> 목록에서 액세스할 수 있는 사용자 정의 프로젝트에서 선택할 수 있습니다. 그러나 클러스터 관리자로 로그인하지 않은 경우 AWS 프로젝트의 코어 Red Hat OpenShift Service와 관련된 경고, 음소거, 경고 규칙이 표시되지 않습니다.
13.1.2. 벡터 수집기 경고
로깅 5.7 이상 버전에서는 벡터 수집기에서 다음 경고가 생성됩니다. AWS 웹 콘솔의 Red Hat OpenShift Service에서 이러한 경고를 볼 수 있습니다.
| 경고 | 메시지 | 설명 | 심각도 |
|---|---|---|---|
|
|
| 벡터 출력 오류 수는 기본적으로 이전 15분 동안 10개 이상입니다. | 경고 |
|
|
| 벡터는 Prometheus가 특정 Vector 인스턴스를 스크랩할 수 없다고 보고합니다. | 심각 |
|
|
| 벡터 구성 요소 오류의 수는 기본적으로 이전 15분 동안 25개를 초과합니다. | 심각 |
|
|
| Fluentd는 큐 크기가 증가하고 있다고 보고합니다. | 경고 |
13.1.3. Fluentd 수집기 경고
다음 경고는 레거시 Fluentd 로그 수집기에 의해 생성됩니다. AWS 웹 콘솔의 Red Hat OpenShift Service에서 이러한 경고를 볼 수 있습니다.
| 경고 | 메시지 | 설명 | 심각도 |
|---|---|---|---|
|
|
| FluentD 출력 오류의 수는 높으며 기본적으로 이전 15분 동안 10개 이상입니다. | 경고 |
|
|
| Fluentd는 Prometheus가 특정 Fluentd 인스턴스를 스크랩할 수 없다고 보고했습니다. | 심각 |
|
|
| Fluentd는 큐 크기가 증가하고 있다고 보고합니다. | 경고 |
|
|
| FluentD 출력 오류의 수는 기본적으로 이전 15분 동안 25개 이상으로 매우 높습니다. | 심각 |
13.1.4. Elasticsearch 경고 규칙
AWS 웹 콘솔의 Red Hat OpenShift Service에서 이러한 경고 규칙을 볼 수 있습니다.
| 경고 | 설명 | 심각도 |
|---|---|---|
|
| 클러스터 상태가 2분 이상 빨간색이었습니다. 클러스터가 쓰기를 허용하지 않거나 shard가 누락되었거나 마스터 노드가 아직 선택되지 않았을 수 있습니다. | 심각 |
|
| 클러스터 상태가 최소 20분 동안 노란색이었습니다. 일부 shard 복제본이 할당되지 않았습니다. | 경고 |
|
| 클러스터는 향후 6시간 내에 디스크 공간이 부족할 것으로 예상됩니다. | 심각 |
|
| 클러스터는 다음 시간 내에 파일 설명자가 없을 것으로 예상됩니다. | 경고 |
|
| 지정된 노드의 JVM 힙 사용량이 높습니다. | 경고 |
|
| 디스크 여유 공간이 부족하여 지정된 노드가 낮은 워터마크에 도달했습니다. 더 이상 shard를 이 노드에 할당할 수 없습니다. 노드에 디스크 공간을 추가하는 것을 고려해야 합니다. | 정보 |
|
| 디스크 여유 공간이 부족하여 지정된 노드가 높은 워터마크에 도달했습니다. 일부 shard는 가능한 경우 다른 노드에 다시 할당됩니다. 노드에 디스크 공간을 더 추가하거나 이 노드에 할당된 오래된 인덱스를 삭제하십시오. | 경고 |
|
| 디스크 여유 공간이 부족하여 지정된 노드가 플러드 워터마크에 도달했습니다. 이 노드에 할당된 shard가 있는 모든 인덱스에는 읽기 전용 블록이 적용됩니다. 디스크 사용량이 높은 워터마크 아래로 떨어지면 인덱스 블록을 수동으로 해제해야 합니다. | 심각 |
|
| 지정된 노드의 JVM 힙 사용량이 너무 높습니다. | 경고 |
|
| Elasticsearch의 지정된 노드에서 쓰기 거부가 증가하고 있습니다. 이 노드는 인덱싱 속도를 따라가지 못할 수 있습니다. | 경고 |
|
| 지정된 노드의 시스템에서 사용하는 CPU가 너무 높습니다. | 경고 |
|
| 지정된 노드에서 Elasticsearch가 사용하는 CPU가 너무 높습니다. | 경고 |
