Red Hat Summit9장. 모니터링
데이터 모니터링을 사용하면 AMQ Streams의 성능과 상태를 모니터링할 수 있습니다. 분석 및 알림에 대한 메트릭 데이터를 캡처하도록 배포를 구성할 수 있습니다.
지표 데이터는 연결 및 데이터 전달 문제를 조사할 때 유용합니다. 예를 들어 지표 데이터는 복제 대상 파티션 또는 메시지가 사용되는 속도를 식별할 수 있습니다. 경고 규칙은 지정된 통신 채널을 통해 이러한 메트릭에 대한 시간에 중요한 알림을 제공할 수 있습니다. 시각화를 모니터링하면 배포 구성을 업데이트할 시기와 방법을 결정하는 데 도움이 되는 실시간 지표 데이터를 제공합니다. 지표 구성 파일의 예는 AMQ Streams에서 제공됩니다.
분산 추적은 AMQ Streams를 통해 메시지의 엔드 투 엔드 추적 기능을 제공하여 지표 데이터 수집을 보완합니다.
cruise Control은 워크로드 데이터를 기반으로 Kafka 클러스터의 재조정을 지원합니다.
메트릭 및 모니터링 툴
AMQ Streams는 메트릭 및 모니터링에 다음 툴을 사용할 수 있습니다.
- Prometheus
- Prometheus 는 Kafka, ZooKeeper 및 Kafka Connect 클러스터에서 메트릭을 가져옵니다. Prometheus Alertmanager 플러그인은 경고를 처리하고 알림 서비스로 라우팅합니다.
- Kafka Exporter
- Kafka Exporter 는 추가 Prometheus 메트릭을 추가합니다.
- Grafana
- Grafana Labs 는 Prometheus 지표의 대시보드 시각화를 제공합니다.
- Jaeger
- Jaeger 문서는 애플리케이션 간 트랜잭션을 추적하는 분산 추적 지원을 제공합니다.
- 크루즈 컨트롤
- cruise Control 은 데이터 배포를 모니터링하고 Kafka 클러스터에서 데이터 재조정을 수행합니다.
9.1. Prometheus
Prometheus는 Kafka 구성 요소 및 AMQ Streams Operator에서 메트릭 데이터를 추출할 수 있습니다.
Prometheus를 사용하여 지표 데이터를 가져오고 경고를 제공하려면 Prometheus 및 Prometheus Alertmanager 플러그인을 배포해야 합니다. 지표 데이터를 노출하려면 Kafka 리소스를 지표 구성으로 배포하거나 재배포해야 합니다.
Prometheus는 모니터링을 위해 노출된 지표 데이터를 스크랩합니다. Alertmanager는 사전 정의된 경고 규칙에 따라 조건이 잠재적인 문제를 나타내는 경우 경고를 발행합니다.
샘플 메트릭 및 경고 규칙 구성 파일은 AMQ Streams와 함께 제공됩니다. AMQ Streams와 함께 제공되는 샘플 경고 메커니즘은 Slack 채널에 알림을 전송하도록 구성됩니다.
