2.5. Kafka MirrorMaker 클러스터 구성

절차

1. KafkaMirrorMaker 리소스의 spec 속성을 편집합니다.

   구성할 수 있는 속성은 다음 예제 구성에 표시되어 있습니다.

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaMirrorMaker
   metadata:
     name: my-mirror-maker
   spec:
     replicas: 3 

   1

   
     consumer:
       bootstrapServers: my-source-cluster-kafka-bootstrap:9092 

   2

   
       groupId: "my-group" 

   3

   
       numStreams: 2 

   4

   
       offsetCommitInterval: 120000 

   5

   
       tls: 

   6

   
         trustedCertificates:
         - secretName: my-source-cluster-ca-cert
           certificate: ca.crt
       authentication: 

   7

   
         type: tls
         certificateAndKey:
           secretName: my-source-secret
           certificate: public.crt
           key: private.key
       config: 

   8

   
         max.poll.records: 100
         receive.buffer.bytes: 32768
     producer:
       bootstrapServers: my-target-cluster-kafka-bootstrap:9092
       abortOnSendFailure: false 

   9

   
       tls:
         trustedCertificates:
         - secretName: my-target-cluster-ca-cert
           certificate: ca.crt
       authentication:
         type: tls
         certificateAndKey:
           secretName: my-target-secret
           certificate: public.crt
           key: private.key
       config:
         compression.type: gzip
         batch.size: 8192
     include: "my-topic|other-topic" 

   10

   
     resources: 

   11

   
       requests:
         cpu: "1"
         memory: 2Gi
       limits:
         cpu: "2"
         memory: 2Gi
     logging: 

   12

   
       type: inline
       loggers:
         mirrormaker.root.logger: INFO
     readinessProbe: 

   13

   
       initialDelaySeconds: 15
       timeoutSeconds: 5
     livenessProbe:
       initialDelaySeconds: 15
       timeoutSeconds: 5
     metricsConfig: 

   14

   
      type: jmxPrometheusExporter
      valueFrom:
        configMapKeyRef:
          name: my-config-map
          key: my-key
     jvmOptions: 

   15

   
       "-Xmx": "1g"
       "-Xms": "1g"
     image: my-org/my-image:latest 

   16

   
     template: 

   17

   
       pod:
         affinity:
           podAntiAffinity:
             requiredDuringSchedulingIgnoredDuringExecution:
               - labelSelector:
                   matchExpressions:
                     - key: application
                       operator: In
                       values:
                         - postgresql
                         - mongodb
                 topologyKey: "kubernetes.io/hostname"
       mirrorMakerContainer: 

   18

   
         env:
           - name: OTEL_SERVICE_NAME
             value: my-otel-service
           - name: OTEL_EXPORTER_OTLP_ENDPOINT
             value: "http://otlp-host:4317"
     tracing: 

   19

   
       type: opentelemetry

   1

   복제본 노드 수입니다.

   2

   소비자 및 생산자용 부트스트랩 서버 입니다.

   3

   소비자의 그룹 ID입니다.

   4

   소비자 스트림 수입니다.

   5

   오프셋은 밀리초 단위의 자동 커밋 간격입니다.

   6

   소비자 또는 생산자의 X.509 형식으로 저장되는 TLS 인증서의 키 이름이 포함된 TLS 암호화 입니다. 인증서가 동일한 보안에 저장된 경우 여러 번 나열할 수 있습니다.

   7

   mTLS,토큰 기반 OAuth, SASL 기반 SCRAM -256/SCRAM-SHA -512, 또는 PLAIN 으로 지정된 소비자 또는 생산자에 대한 인증입니다.

   8

   소비자 및 생산자 에 대한 Kafka 구성 옵션.

   9

   abortOnSendFailure 속성이 true 로 설정되면 Kafka MirrorMaker가 종료되고 메시지에 대한 전송 실패 후에 컨테이너가 다시 시작됩니다.

   10

   소스에서 대상 Kafka 클러스터로 미러링된 포함된 주제 목록입니다.

   11

   지원되는 리소스 예약, 현재 cpu 및 memory 및 사용할 수 있는 최대 리소스를 지정하는 제한입니다.

   12

   지정된 로거 및 로그 수준이 직접 (인라인) 추가되거나 ConfigMap을 통해 간접적으로(외부)합니다. 사용자 지정 ConfigMap은 log4j.properties 또는 log4j2.properties 키에 배치해야 합니다. MirrorMaker에는 mirrormaker.root.logger 라는 단일 로거가 있습니다. 로그 수준을 INFO, ERROR, WARN, TRACE, DEBUG, FATAL 또는 OFF로 설정할 수 있습니다.

   13

   컨테이너(liveness)를 다시 시작할 시기와 컨테이너가 트래픽을 수락할 수 있는 시기(가용성)를 확인할 수 있는 상태 점검 입니다.

   14

   Prometheus 지표: 이 예제에서 Prometheus exporter에 대한 구성이 포함된 ConfigMap을 참조하여 활성화합니다. metricsConfig.valueFrom.configMapKeyRef.key 아래에 빈 파일이 포함된 ConfigMap에 대한 참조를 사용하여 추가 구성 없이 메트릭을 활성화할 수 있습니다.

   15

   Kafka Mirror Maker를 실행하는 VM(가상 머신)의 성능을 최적화하는 JVM 구성 옵션입니다.

   16

   ADVANCED OPTION : 컨테이너 이미지 구성.이는 특별한 경우에만 권장됩니다.

   17

   템플릿 사용자 지정. 여기에서 Pod는 유사성 방지로 예약되므로 Pod는 동일한 호스트 이름이 있는 노드에 예약되지 않습니다.

   18

   환경 변수는 분산 추적을 위해 설정됩니다.

   19

   OpenTelemetry를 사용하여 분산 추적을 활성화합니다.

   주의

   abortOnSendFailure 속성을 false 로 설정하면 생산자가 주제의 다음 메시지를 보냅니다. 실패 메시지를 다시 전송하려는 시도가 없기 때문에 원본 메시지가 손실될 수 있습니다.

2. 리소스를 생성하거나 업데이트합니다.

   oc apply -f <your-file>