18.5. 중요한 Kafka 브로커 메트릭
Kafka는 Kafka 클러스터에서 브로커의 성능을 모니터링하기 위해 많은 Cryostat를 제공합니다. 이는 전체 클러스터가 아닌 개별 브로커에 적용됩니다.
다음 표에는 서버, 네트워크, 로깅 및 컨트롤러 메트릭으로 구성된 브로커 수준 Cryostat가 있습니다.
18.5.1. Kafka 서버 메트릭
다음 표는 Kafka 서버에 대한 정보를 보고하는 메트릭을 보여줍니다.
지표 | Cryostat | 설명 | 예상 값 |
---|---|---|---|
초당 메시지 |
| 브로커가 개별 메시지를 사용하는 비율입니다. | 클러스터의 다른 브로커와 거의 동일합니다. |
초당 바이트 수 |
| 생산자로부터 전송되는 데이터는 브로커가 사용하는 비율입니다. | 클러스터의 다른 브로커와 거의 동일합니다. |
초당의 복제 바이트 수 |
| 다른 브로커에서 전송되는 데이터는 후속 브로커가 사용합니다. | 해당 없음 |
초당 바이트 아웃 |
| 소비자가 데이터를 가져와서 브로커에서 읽습니다. | 해당 없음 |
초당 복제 바이트 수 |
| 데이터가 브로커에서 다른 브로커로 전송되는 속도입니다. 이 메트릭은 브로커가 파티션 그룹의 리더인지 모니터링하는 데 유용합니다. | 해당 없음 |
복제되지 않은 파티션 |
| 후속 복제본에서 완전히 복제되지 않은 파티션 수입니다. | 0 |
최소 ISR 파티션 수 |
| 최소 IISR(In-Sync Replica) 수 아래의 파티션 수입니다. ISR 수는 리더와 최신 상태인 복제본 세트를 나타냅니다. | 0 |
파티션 수 |
| 브로커의 파티션 수입니다. | 대략 다른 브로커와 비교했을 때도 마찬가지입니다. |
리더 수 |
| 이 브로커가 리더인 복제본 수입니다. | 클러스터의 다른 브로커와 거의 동일합니다. |
ISR 감소/초당 감소 |
| 브로커의 ISR 수가 감소하는 비율 | 0 |
ISR은 초당 확장 |
| 브로커의 ISR 수가 증가하는 비율입니다. | 0 |
최대 지연 |
| 리더 복제본과 후속 복제본에서 메시지를 수신하는 시간 사이의 최대 지연입니다. | 생성 요청의 최대 배치 크기에 비례합니다. |
프로듀서의 요구 사항 |
| 생산자 순례자의 전송 요청 수입니다. | 해당 없음 |
가져오기 대상 요청 |
| 가져오기 프로세스의 가져오기 요청 수입니다. | 해당 없음 |
요청 처리기 평균 유휴 백분율 |
| 요청 처리기(IO) 스레드가 사용되지 않는 시간의 백분율을 나타냅니다. | 더 낮은 값은 브로커의 워크로드가 높음을 나타냅니다. |
요청 (제한에서의 요청 제외) |
| 제한에서 제외되는 요청 수입니다. | 해당 없음 |
Zookeeper 요청 대기 시간(밀리초) |
| 브로커의 Zoo Cryostat 요청 대기 시간(밀리초)입니다. | 해당 없음 |
Zookeeper 세션 상태 |
| Zoo Cryostat에 대한 브로커 연결 상태 | 연결됨 |
18.5.2. Kafka 네트워크 메트릭
다음 표에서는 요청에 대한 정보를 보고하는 메트릭을 보여줍니다.
지표 | Cryostat | 설명 | 예상 값 |
---|---|---|---|
초당 요청 수 |
|
초당 요청 유형에 대한 총 요청 수입니다. | 해당 없음 |
요청 바이트(바이트 단위) |
|
요청 크기(바이트)는 요청 속성으로 식별되는 | 해당 없음 |
임시 메모리 크기(바이트) |
| 메시지 형식을 변환하고 메시지 압축 해제에 사용되는 임시 메모리 양입니다. | 해당 없음 |
메시지 변환 시간 |
| 시간(밀리초)은 메시지 형식을 변환하는 데 소비됩니다. | 해당 없음 |
총 요청 시간(밀리초) |
| 총 시간(밀리초)입니다. | 해당 없음 |
요청 큐 시간(밀리초) |
|
요청이 현재 요청 속성에 지정된 요청 유형에 대해 큐에서 소비하는 시간(밀리초)입니다. | 해당 없음 |
현지 시간(현지 처리 시간)(밀리초) |
| 리더가 요청을 처리하는 데 걸리는 시간(밀리초)입니다. | 해당 없음 |
원격 시간(리더 원격 처리 시간)(밀리초) |
|
요청이 팔로워할 때까지 대기하는 시간(밀리초)입니다. 사용 가능한 모든 요청 유형에 대한 별도의 Cryostat는 | 해당 없음 |
응답 대기열 시간(밀리초) |
| 요청이 응답 큐에서 대기하는 시간(밀리초)입니다. | 해당 없음 |
응답 전송 시간(밀리초) |
| 응답을 보내는 데 걸리는 시간(밀리초)입니다. | 해당 없음 |
네트워크 프로세서 평균 유휴 백분율 |
| 네트워크 프로세서가 유휴 상태인 평균 백분율입니다. | 0에서 1 사이입니다. |
18.5.3. Kafka 로그 메트릭
다음 표에서는 로깅에 대한 정보를 보고하는 다양한 메트릭을 보여줍니다.
지표 | Cryostat | 설명 | 예상 값 |
---|---|---|---|
로그 플러시 비율 및 시간(밀리초) |
| 로그 데이터가 디스크에 기록되는 속도(밀리초)입니다. | 해당 없음 |
오프라인 로그 디렉터리 수 |
| 오프라인 로그 디렉터리 수(예: 하드웨어 실패 후)입니다. | 0 |
18.5.4. Kafka 컨트롤러 메트릭
다음 표는 클러스터 컨트롤러에 대한 정보를 보고하는 메트릭을 보여줍니다.
지표 | Cryostat | 설명 | 예상 값 |
---|---|---|---|
활성 컨트롤러 수 |
| 컨트롤러로 지정된 브로커 수입니다. | 하나는 브로커가 클러스터의 컨트롤러임을 나타냅니다. |
리더 선택 비율 및 시간(밀리초) |
| 새 리더 복제본이 선택된 비율입니다. | 0 |
18.5.5. Cryostat 메트릭
속도 또는 시간 단위를 나타내는 메트릭은 Cryostat 메트릭으로 제공됩니다. Cryostat 메트릭을 사용하는 class 이름 앞에 com.yammer.metrics
가 붙습니다.
Cryostat 속도 메트릭에는 모니터링 요청에 대한 다음과 같은 속성이 있습니다.
- 수량
- eventType(Bytes)
- FifteenMinuteRate
- RateUnit (Seconds)
- MeanRate
- OneMinuteRate
- FiveMinuteRate
Cryostat 시간 메트릭에는 모니터링 요청에 대한 다음 속성이 있습니다.
- Max
- 분
- mean
- StdDev
- 75/95/98/99/99.9 thcentile