18.5. 중요한 Kafka 브로커 메트릭


Kafka는 Kafka 클러스터에서 브로커의 성능을 모니터링하기 위해 많은 Cryostat를 제공합니다. 이는 전체 클러스터가 아닌 개별 브로커에 적용됩니다.

다음 표에는 서버, 네트워크, 로깅 및 컨트롤러 메트릭으로 구성된 브로커 수준 Cryostat가 있습니다.

18.5.1. Kafka 서버 메트릭

다음 표는 Kafka 서버에 대한 정보를 보고하는 메트릭을 보여줍니다.

표 18.2. Kafka 서버의 메트릭
지표Cryostat설명예상 값

초당 메시지

kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec

브로커가 개별 메시지를 사용하는 비율입니다.

클러스터의 다른 브로커와 거의 동일합니다.

초당 바이트 수

kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec

생산자로부터 전송되는 데이터는 브로커가 사용하는 비율입니다.

클러스터의 다른 브로커와 거의 동일합니다.

초당의 복제 바이트 수

kafka.server:type=BrokerTopicMetrics,name=ReplicationBytesInPerSec

다른 브로커에서 전송되는 데이터는 후속 브로커가 사용합니다.

해당 없음

초당 바이트 아웃

kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec

소비자가 데이터를 가져와서 브로커에서 읽습니다.

해당 없음

초당 복제 바이트 수

kafka.server:type=BrokerTopicMetrics,name=ReplicationBytesOutPerSec

데이터가 브로커에서 다른 브로커로 전송되는 속도입니다. 이 메트릭은 브로커가 파티션 그룹의 리더인지 모니터링하는 데 유용합니다.

해당 없음

복제되지 않은 파티션

kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions

후속 복제본에서 완전히 복제되지 않은 파티션 수입니다.

0

최소 ISR 파티션 수

kafka.server:type=ReplicaManager,name=UnderMinIsrPartitionCount

최소 IISR(In-Sync Replica) 수 아래의 파티션 수입니다. ISR 수는 리더와 최신 상태인 복제본 세트를 나타냅니다.

0

파티션 수

kafka.server:type=ReplicaManager,name=PartitionCount

브로커의 파티션 수입니다.

대략 다른 브로커와 비교했을 때도 마찬가지입니다.

리더 수

kafka.server:type=ReplicaManager,name=LeaderCount

이 브로커가 리더인 복제본 수입니다.

클러스터의 다른 브로커와 거의 동일합니다.

ISR 감소/초당 감소

kafka.server:type=ReplicaManager,name=IsrShrinksPerSec

브로커의 ISR 수가 감소하는 비율

0

ISR은 초당 확장

kafka.server:type=ReplicaManager,name=IsrExpandsPerSec

브로커의 ISR 수가 증가하는 비율입니다.

0

최대 지연

kafka.server:type=ReplicaFetcherManager,name=MaxLag,clientId=Replica

리더 복제본과 후속 복제본에서 메시지를 수신하는 시간 사이의 최대 지연입니다.

생성 요청의 최대 배치 크기에 비례합니다.

프로듀서의 요구 사항

kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=Produce

생산자 순례자의 전송 요청 수입니다.

해당 없음

가져오기 대상 요청

kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=Fetch

가져오기 프로세스의 가져오기 요청 수입니다.

해당 없음

요청 처리기 평균 유휴 백분율

kafka.server:type=KafkaRequestHandlerPool,name=RequestHandlerAvgIdlePercent

요청 처리기(IO) 스레드가 사용되지 않는 시간의 백분율을 나타냅니다.

더 낮은 값은 브로커의 워크로드가 높음을 나타냅니다.

요청 (제한에서의 요청 제외)

kafka.server:type=Request

제한에서 제외되는 요청 수입니다.

해당 없음

Zookeeper 요청 대기 시간(밀리초)

kafka.server:type=ZooKeeperClientMetrics,name=ZooKeeperRequestLatencyMs

브로커의 Zoo Cryostat 요청 대기 시간(밀리초)입니다.

해당 없음

Zookeeper 세션 상태

kafka.server:type=SessionExpireListener,name=SessionState

Zoo Cryostat에 대한 브로커 연결 상태

연결됨

18.5.2. Kafka 네트워크 메트릭

다음 표에서는 요청에 대한 정보를 보고하는 메트릭을 보여줍니다.

지표Cryostat설명예상 값

초당 요청 수

Kafka.network:type=RequestMetrics,name=RequestsPerSec,request={Produce|FetchConsumer|FetchFollower}

초당 요청 유형에 대한 총 요청 수입니다. Produce,FetchConsumerFetchFollower 요청 유형에는 각각 고유한 Cryostat가 있습니다.

해당 없음

요청 바이트(바이트 단위)

kafka.network:type=RequestMetrics,name=RequestBytes,request=([-.\w]+)

요청 크기(바이트)는 요청 속성으로 식별되는 요청 유형(바이트)입니다. 사용 가능한 모든 요청 유형에 대한 별도의 Cryostat는 RequestBytes 노드에 나열됩니다.

해당 없음

임시 메모리 크기(바이트)

kafka.network:type=RequestMetrics,name=TemporaryMemoryBytes,request={Produce|Fetch}

메시지 형식을 변환하고 메시지 압축 해제에 사용되는 임시 메모리 양입니다.

해당 없음

메시지 변환 시간

kafka.network:type=RequestMetrics,name=MessageConversionsTimeMs,request={Produce|Fetch}

시간(밀리초)은 메시지 형식을 변환하는 데 소비됩니다.

해당 없음

총 요청 시간(밀리초)

Kafka.network:type=RequestMetrics,name=TotalTimeMs,request={Produce|FetchConsumer|FetchFollower}

총 시간(밀리초)입니다.

해당 없음

요청 큐 시간(밀리초)

Kafka.network:type=RequestMetrics,name=RequestQueueTimeMs,request={Produce|FetchConsumer|FetchFollower}

요청이 현재 요청 속성에 지정된 요청 유형에 대해 큐에서 소비하는 시간(밀리초)입니다.

해당 없음

현지 시간(현지 처리 시간)(밀리초)

Kafka.network:type=RequestMetrics,name=LocalTimeMs,request={Produce|FetchConsumer|FetchFollower}

리더가 요청을 처리하는 데 걸리는 시간(밀리초)입니다.

해당 없음

원격 시간(리더 원격 처리 시간)(밀리초)

Kafka.network:type=RequestMetrics,name=RemoteTimeMs,request={Produce|FetchConsumer|FetchFollower}

요청이 팔로워할 때까지 대기하는 시간(밀리초)입니다. 사용 가능한 모든 요청 유형에 대한 별도의 Cryostat는 RemoteTimeMs 노드에 나열됩니다.

해당 없음

응답 대기열 시간(밀리초)

Kafka.network:type=RequestMetrics,name=ResponseQueueTimeMs,request={Produce|FetchConsumer|FetchFollower}

요청이 응답 큐에서 대기하는 시간(밀리초)입니다.

해당 없음

응답 전송 시간(밀리초)

Kafka.network:type=RequestMetrics,name=ResponseSendTimeMs,request={Produce|FetchConsumer|FetchFollower}

응답을 보내는 데 걸리는 시간(밀리초)입니다.

해당 없음

네트워크 프로세서 평균 유휴 백분율

kafka.network:type=SocketServer,name=NetworkProcessorAvgIdlePercent

네트워크 프로세서가 유휴 상태인 평균 백분율입니다.

0에서 1 사이입니다.

18.5.3. Kafka 로그 메트릭

다음 표에서는 로깅에 대한 정보를 보고하는 다양한 메트릭을 보여줍니다.

지표Cryostat설명예상 값

로그 플러시 비율 및 시간(밀리초)

kafka.log:type=LogFlushStats,name=LogFlushRateAndTimeMs

로그 데이터가 디스크에 기록되는 속도(밀리초)입니다.

해당 없음

오프라인 로그 디렉터리 수

kafka.log:type=LogManager,name=OfflineLogDirectoryCount

오프라인 로그 디렉터리 수(예: 하드웨어 실패 후)입니다.

0

18.5.4. Kafka 컨트롤러 메트릭

다음 표는 클러스터 컨트롤러에 대한 정보를 보고하는 메트릭을 보여줍니다.

지표Cryostat설명예상 값

활성 컨트롤러 수

kafka.controller:type=KafkaController,name=ActiveControllerCount

컨트롤러로 지정된 브로커 수입니다.

하나는 브로커가 클러스터의 컨트롤러임을 나타냅니다.

리더 선택 비율 및 시간(밀리초)

kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs

새 리더 복제본이 선택된 비율입니다.

0

18.5.5. Cryostat 메트릭

속도 또는 시간 단위를 나타내는 메트릭은 Cryostat 메트릭으로 제공됩니다. Cryostat 메트릭을 사용하는 class 이름 앞에 com.yammer.metrics 가 붙습니다.

Cryostat 속도 메트릭에는 모니터링 요청에 대한 다음과 같은 속성이 있습니다.

  • 수량
  • eventType(Bytes)
  • FifteenMinuteRate
  • RateUnit (Seconds)
  • MeanRate
  • OneMinuteRate
  • FiveMinuteRate

Cryostat 시간 메트릭에는 모니터링 요청에 대한 다음 속성이 있습니다.

  • Max
  • mean
  • StdDev
  • 75/95/98/99/99.9 thcentile
Red Hat logoGithubRedditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

© 2024 Red Hat, Inc.