8.2. Kafka 구성


Kafka 사용자 정의 리소스의 사양 속성을 업데이트하여 Kafka 배포를 구성합니다.

Kafka를 구성할 뿐만 아니라 Zoo Cryostat 및 AMQ Streams Operator에 대한 구성을 추가할 수 있습니다. 로깅 및 상태 점검과 같은 일반적인 구성 속성은 각 구성 요소에 대해 독립적으로 구성됩니다.

특히 중요한 구성 옵션은 다음과 같습니다.

  • 리소스 요청(CPU / 메모리)
  • 최대 및 최소 메모리 할당을 위한 JVM 옵션
  • Kafka 브로커에 클라이언트를 연결하는 리스너(및 클라이언트 인증)
  • 인증
  • 스토리지
  • Rack 인식
  • 메트릭
  • 클러스터 재조정을 위한 cruise Control

Kafka 클러스터 구성 옵션에 대한 자세한 내용은 AMQ Streams 사용자 정의 리소스 API 참조를 참조하십시오.

Kafka 버전

Kafka 구성에 대한 inter.broker.protocol.version 속성은 지정된 Kafka 버전 (spec.kafka.version)에서 지원하는 버전이어야합니다. 속성은 Kafka 클러스터에서 사용되는 Kafka 프로토콜 버전을 나타냅니다.

Kafka 3.0.0에서 inter.broker.protocol.version3.0 이상으로 설정되면 log.message.format.version 옵션이 무시되고 설정할 필요가 없습니다.

Kafka 버전을 업그레이드할 때 inter.broker.protocol.version 에 대한 업데이트가 필요합니다. 자세한 내용은 Kafka 업그레이드 를 참조하십시오.

TLS 인증서 관리

Kafka를 배포할 때 Cluster Operator는 클러스터 내에서 암호화 및 인증을 활성화하기 위해 TLS 인증서를 자동으로 설정하고 갱신합니다. 필요한 경우 갱신 기간이 시작되기 전에 클러스터 및 클라이언트 CA 인증서를 수동으로 갱신할 수 있습니다. 클러스터 및 클라이언트 CA 인증서에서 사용하는 키를 교체할 수도 있습니다. 자세한 내용은 수동으로 CA 인증서 갱신개인 키 교체를 참조하십시오.

Kafka 사용자 정의 리소스 구성의 예

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3 
1

    version: 3.5.0 
2

    logging: 
3

      type: inline
      loggers:
        kafka.root.logger.level: INFO
    resources: 
4

      requests:
        memory: 64Gi
        cpu: "8"
      limits:
        memory: 64Gi
        cpu: "12"
    readinessProbe: 
5

      initialDelaySeconds: 15
      timeoutSeconds: 5
    livenessProbe:
      initialDelaySeconds: 15
      timeoutSeconds: 5
    jvmOptions: 
6

      -Xms: 8192m
      -Xmx: 8192m
    image: my-org/my-image:latest 
7

    listeners: 
8

      - name: plain 
9

        port: 9092 
10

        type: internal 
11

        tls: false 
12

        configuration:
          useServiceDnsDomain: true 
13

      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication: 
14

          type: tls
      - name: external 
15

        port: 9094
        type: route
        tls: true
        configuration:
          brokerCertChainAndKey: 
16

            secretName: my-secret
            certificate: my-certificate.crt
            key: my-key.key
    authorization: 
17

      type: simple
    config: 
18

      auto.create.topics.enable: "false"
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      default.replication.factor: 3
      min.insync.replicas: 2
      inter.broker.protocol.version: "3.5"
    storage: 
19

      type: persistent-claim 
20

      size: 10000Gi
    rack: 
21

      topologyKey: topology.kubernetes.io/zone
    metricsConfig: 
22

      type: jmxPrometheusExporter
      valueFrom:
        configMapKeyRef: 
23

          name: my-config-map
          key: my-key
    # ...
  zookeeper: 
24

    replicas: 3 
25

    logging: 
26

      type: inline
      loggers:
        zookeeper.root.logger: INFO
    resources:
      requests:
        memory: 8Gi
        cpu: "2"
      limits:
        memory: 8Gi
        cpu: "2"
    jvmOptions:
      -Xms: 4096m
      -Xmx: 4096m
    storage:
      type: persistent-claim
      size: 1000Gi
    metricsConfig:
      # ...
  entityOperator: 
27

    tlsSidecar: 
28

      resources:
        requests:
          cpu: 200m
          memory: 64Mi
        limits:
          cpu: 500m
          memory: 128Mi
    topicOperator:
      watchedNamespace: my-topic-namespace
      reconciliationIntervalSeconds: 60
      logging: 
29

        type: inline
        loggers:
          rootLogger.level: INFO
      resources:
        requests:
          memory: 512Mi
          cpu: "1"
        limits:
          memory: 512Mi
          cpu: "1"
    userOperator:
      watchedNamespace: my-topic-namespace
      reconciliationIntervalSeconds: 60
      logging: 
30

        type: inline
        loggers:
          rootLogger.level: INFO
      resources:
        requests:
          memory: 512Mi
          cpu: "1"
        limits:
          memory: 512Mi
          cpu: "1"
  kafkaExporter: 
31

    # ...
  cruiseControl: 
32

    # ...

1
복제본 노드 수입니다.
2
업그레이드 절차에 따라 지원되는 버전으로 변경할 수 있는 Kafka 버전입니다.
3
Kafka 로거 및 로그 수준은 ConfigMap을 통해 직접(인라인) 또는 간접적으로(외부)에 추가됩니다. 사용자 정의 Log4j 구성은 ConfigMap의 log4j.properties 키 아래에 배치해야 합니다. Kafka kafka.root.logger.level 로거의 경우 로그 수준을 INFO, ERROR, WARN, TRACE, DEBUG, FATAL 또는 OFF로 설정할 수 있습니다.
4
지원되는 리소스 예약, 현재 cpumemory 요청, 사용할 수 있는 최대 리소스를 지정하기 위한 제한입니다.
5
컨테이너(liveness)를 다시 시작할 시기와 컨테이너가 트래픽을 수락할 수 있는 시기(가용성)를 확인할 수 있는 상태 점검입니다.
6
Kafka를 실행하는 VM(가상 머신)의 성능을 최적화하는 JVM 구성 옵션입니다.
7
ADVANCED OPTION: 컨테이너 이미지 구성 - 특별한 경우에만 권장됩니다.
8
리스너는 클라이언트가 부트스트랩 주소를 통해 Kafka 클러스터에 연결하는 방법을 구성합니다. 리스너는 OpenShift 클러스터 내부 또는 외부에서 연결을 위해 내부 또는 외부 리스너로 구성됩니다.
9
리스너를 식별할 이름입니다. Kafka 클러스터 내에서 고유해야 합니다.
10
Kafka 내부의 리스너에서 사용하는 포트 번호입니다. 포트 번호는 지정된 Kafka 클러스터 내에서 고유해야 합니다. 허용되는 포트 번호는 9092이고 포트 9404 및 9999를 제외하고 이미 Prometheus 및 10.0.0.1에 사용됩니다. 리스너 유형에 따라 포트 번호가 Kafka 클라이언트를 연결하는 포트 번호와 동일하지 않을 수 있습니다.
11
internal 또는 cluster-ip 로 지정된 리스너 유형(broker ClusterIP 서비스를 사용하여 Kafka를 노출) 또는 외부 리스너의 경우 경로 (OpenShift만), 로드 밸런서,nodeport 또는 ingress (Kubernetes만 해당)로 표시됩니다.
12
각 리스너에 대해 TLS 암호화를 활성화합니다. 기본값은 false 입니다. 경로수신 유형 리스너의 경우 true 로 설정하여 TLS 암호화를 활성화해야 합니다.
13
클러스터 서비스 접미사(일반적으로 .cluster.local)를 포함하여 정규화된 DNS 이름을 정의합니다.
14
mTLS, SCRAM-SHA-512 또는 토큰 기반 OAuth 2.0으로 지정된 리스너 인증 메커니즘
15
외부 리스너 구성은 경로,로드 밸런서 또는 nodeport 를 통해 Kafka 클러스터가 OpenShift 외부에 노출되는 방법을 지정합니다.
16
외부 CA(인증 기관)에서 관리하는 Kafka 리스너 인증서에 대한 선택적 구성입니다. brokerCert CryostatAndKey 는 서버 인증서와 개인 키가 포함된 보안을 지정합니다. 활성화된 TLS 암호화를 사용하여 모든 리스너에서 Kafka 리스너 인증서를 구성할 수 있습니다.
17
권한 부여를 사용하면 Kafka 브로커에서 간단한 OAUTH 2.0 또는 OPA 인증을 사용할 수 있습니다. 간단한 인증에서는 AclAuthorizer Kafka 플러그인을 사용합니다.
18
브로커 구성. 표준 Apache Kafka 구성은 AMQ Streams에서 직접 관리하지 않는 속성으로 제한될 수 있습니다.
19
영구 볼륨의 스토리지 크기가 증가할 수 있으며 추가 볼륨이 JBOD 스토리지에 추가될 수 있습니다.
20
영구 스토리지에는 동적 볼륨 프로비저닝을 위한 스토리지 ID 및 클래스 와 같은 추가 구성 옵션이 있습니다.
21
다양한 랙, 데이터 센터 또는 가용성 영역에 복제본을 분산하기 위한 랙 인식 구성입니다. topologyKey 는 랙 ID가 포함된 노드 레이블과 일치해야 합니다. 이 구성에 사용된 예제에서는 표준 topology.kubernetes.io/zone 레이블을 사용하는 영역을 지정합니다.
22
Prometheus 지표가 활성화되었습니다. 이 예에서는 Prometheus ScanSetting Exporter(기본 지표 내보내기)에 대한 지표가 구성됩니다.
23
Prometheus Cryostat 내보내기에 대한 구성이 포함된 ConfigMap을 참조하여 활성화되는 Prometheus 형식의 Grafana 대시보드로 메트릭을 내보내는 규칙입니다. metricsConfig.valueFrom.configMapKeyRef.key 아래에 빈 파일이 포함된 ConfigMap에 대한 참조를 사용하여 추가 구성 없이 메트릭을 활성화할 수 있습니다.
24
Kafka 구성과 유사한 속성을 포함하는 Zookeeper별 구성입니다.
25
Zoo Cryostat 노드 수입니다. Zookeeper 클러스터 또는 ensembles는 일반적으로 홀수의 노드(일반적으로 3, 5 또는 7)로 실행됩니다. 유효한 쿼럼을 유지하려면 대부분의 노드를 사용할 수 있어야 합니다. Zoo Cryostat 클러스터가 쿼럼을 끊을 경우 클라이언트에 대한 응답이 중지되고 Kafka 브로커가 작동하지 않습니다. AMQ Streams에 안정적이고 가용성이 높은 Zoo Cryostat 클러스터를 보유하는 것이 중요합니다.
26
Zookeeper 로거 및 로그 수준.
27
Entity Operator 구성 - Topic Operator 및 User Operator에 대한 구성을 지정합니다.
28
엔터티 Operator TLS 사이드카 구성. 엔터티 Operator는 Zoo Cryostat와의 보안 통신을 위해 TLS 사이드카를 사용합니다.
29
Topic Operator 로거 및 로그 수준을 지정합니다. 이 예에서는 인라인 로깅을 사용합니다.
30
지정된 사용자 Operator 로거 및 로그 수준입니다.
31
Kafka 내보내기 구성. Kafka 내보내기는 특히 소비자 지연 데이터의 Kafka 브로커에서 메트릭 데이터를 추출하기 위한 선택적 구성 요소입니다. Kafka 내보내기가 제대로 작동하려면 소비자 그룹을 사용 중이어야 합니다.
32
Kafka 클러스터를 재조정하는 데 사용되는 Cruise Control에 대한 선택적 구성입니다.

Kafka 정적 할당량 플러그인을 사용하여 Kafka 클러스터의 브로커에 대한 처리량 및 스토리지 제한을 설정합니다. 플러그인을 활성화하고 Kafka 리소스를 구성하여 제한을 설정합니다. 브로커와 상호 작용하는 클라이언트에 제한을 두도록 바이트 비율 임계값 및 스토리지 할당량을 설정할 수 있습니다.

생산자 및 소비자 대역폭에 대한 바이트 비율 임계값을 설정할 수 있습니다. 총 제한은 브로커에 액세스하는 모든 클라이언트에 분배됩니다. 예를 들어, 생산자에 대해 40MBps의 바이트 비율 임계값을 설정할 수 있습니다. 두 생산자가 실행 중인 경우 각각 20MBps의 처리량으로 제한됩니다.

스토리지 할당량은 소프트 제한과 하드 제한 사이에 Kafka 디스크 스토리지 제한을 제한합니다. 제한은 사용 가능한 모든 디스크 공간에 적용됩니다. 생산자는 소프트 및 하드 제한 사이에 점진적으로 느려집니다. 제한으로 인해 디스크가 너무 빨리 채워지고 용량을 초과할 수 있습니다. 전체 디스크는 수정하기 어려운 문제로 이어질 수 있습니다. 하드 제한은 최대 스토리지 제한입니다.

참고

JBOD 스토리지의 경우 제한이 모든 디스크에 적용됩니다. 브로커가 두 개의 1TB 디스크를 사용하고 있고 할당량이 1.1TB인 경우 하나의 디스크가 채워지고 다른 디스크는 거의 비어 있습니다.

사전 요구 사항

  • Kafka 클러스터를 관리하는 Cluster Operator가 실행 중입니다.

절차

  1. Kafka 리소스의 구성에 plugin 속성을 추가합니다.

    plugin 속성은 이 설정 예제에 표시되어 있습니다.

    Kafka 정적 할당량 플러그인 구성의 예

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        config:
          client.quota.callback.class: io.strimzi.kafka.quotas.StaticQuotaCallback 
    1
    
          client.quota.callback.static.produce: 1000000 
    2
    
          client.quota.callback.static.fetch: 1000000 
    3
    
          client.quota.callback.static.storage.soft: 400000000000 
    4
    
          client.quota.callback.static.storage.hard: 500000000000 
    5
    
          client.quota.callback.static.storage.check-interval: 5 
    6

    1
    Kafka 정적 할당량 플러그인을 로드합니다.
    2
    생산자 바이트 등급 임계값을 설정합니다. 이 예에서는 1Mbps입니다.
    3
    소비자 바이트 비율 임계값을 설정합니다. 이 예에서는 1Mbps입니다.
    4
    스토리지에 대해 더 낮은 소프트 제한을 설정합니다. 이 예에서는 400GB입니다.
    5
    스토리지에 대해 더 높은 하드 제한을 설정합니다. 이 예에서는 500GB입니다.
    6
    스토리지 검사 간격(초)을 설정합니다. 이 예에서 5초. 검사를 비활성화하려면 이를 0으로 설정할 수 있습니다.
  2. 리소스를 업데이트합니다.

    oc apply -f <kafka_configuration_file>

8.2.2. 기본 Zoo Cryostat 구성 값

AMQ Streams를 사용하여 Zoo Cryostat를 배포할 때 AMQ Streams에 의해 설정된 기본 구성 중 일부는 표준 Zoo Cryostat 기본값과 다릅니다. AMQ Streams는 OpenShift 환경 내에서 Zoo Cryostat 실행을 위해 최적화된 값을 사용하여 여러 개의 Zoo Cryostat 속성을 설정하기 때문입니다.

AMQ Streams의 키 Zoo Cryostat 속성에 대한 기본 구성은 다음과 같습니다.

Expand
표 8.1. AMQ Streams의 기본 Zoo Cryostat 속성
속성기본값설명

tickTime

2000

세션 시간 제한을 결정하는 단일 틱(밀리초)입니다.

initLimit

5

팔로워가 Zoo Cryostat 클러스터에서 리더로 대체될 수 있는 최대 틱 수입니다.

syncLimit

2

follower가 Zoo Cryostat 클러스터의 리더와 동기화되지 않을 수 있는 최대 틱 수입니다.

autopurge.purgeInterval

1

autopurge 기능을 활성화하고 서버 측 Zoo Cryostat 트랜잭션 로그를 제거하기 위한 시간 간격(시간)을 설정합니다.

admin.enableServer

false

Zoo Cryostat 관리자 서버를 비활성화하려면 플래그를 지정합니다. admin 서버는 AMQ Streams에서 사용하지 않습니다.

중요

Kafka 사용자 정의 리소스에서 zookeeper.config 로 기본값을 수정하면 Zoo Cryostat 클러스터의 동작 및 성능에 영향을 미칠 수 있습니다.

Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2026 Red Hat
맨 위로 이동