2.2. Kafka 클러스터 구성

절차

1. Kafka 리소스의 spec 속성을 편집합니다.

   구성할 수 있는 속성은 다음 예제 구성에 표시되어 있습니다.

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       replicas: 3 

   1

   
       version: 3.4.0 

   2

   
       logging: 

   3

   
         type: inline
         loggers:
           kafka.root.logger.level: INFO
       resources: 

   4

   
         requests:
           memory: 64Gi
           cpu: "8"
         limits:
           memory: 64Gi
           cpu: "12"
       readinessProbe: 

   5

   
         initialDelaySeconds: 15
         timeoutSeconds: 5
       livenessProbe:
         initialDelaySeconds: 15
         timeoutSeconds: 5
       jvmOptions: 

   6

   
         -Xms: 8192m
         -Xmx: 8192m
       image: my-org/my-image:latest 

   7

   
       listeners: 

   8

   
         - name: plain 

   9

   
           port: 9092 

   10

   
           type: internal 

   11

   
           tls: false 

   12

   
           configuration:
             useServiceDnsDomain: true 

   13

   
         - name: tls
           port: 9093
           type: internal
           tls: true
           authentication: 

   14

   
             type: tls
         - name: external 

   15

   
           port: 9094
           type: route
           tls: true
           configuration:
             brokerCertChainAndKey: 

   16

   
               secretName: my-secret
               certificate: my-certificate.crt
               key: my-key.key
       authorization: 

   17

   
         type: simple
       config: 

   18

   
         auto.create.topics.enable: "false"
         offsets.topic.replication.factor: 3
         transaction.state.log.replication.factor: 3
         transaction.state.log.min.isr: 2
         default.replication.factor: 3
         min.insync.replicas: 2
         inter.broker.protocol.version: "3.4"
       storage: 

   19

   
         type: persistent-claim 

   20

   
         size: 10000Gi
       rack: 

   21

   
         topologyKey: topology.kubernetes.io/zone
       metricsConfig: 

   22

   
         type: jmxPrometheusExporter
         valueFrom:
           configMapKeyRef: 

   23

   
             name: my-config-map
             key: my-key
       # ...
     zookeeper: 

   24

   
       replicas: 3 

   25

   
       logging: 

   26

   
         type: inline
         loggers:
           zookeeper.root.logger: INFO
       resources:
         requests:
           memory: 8Gi
           cpu: "2"
         limits:
           memory: 8Gi
           cpu: "2"
       jvmOptions:
         -Xms: 4096m
         -Xmx: 4096m
       storage:
         type: persistent-claim
         size: 1000Gi
       metricsConfig:
         # ...
     entityOperator: 

   27

   
       tlsSidecar: 

   28

   
         resources:
           requests:
             cpu: 200m
             memory: 64Mi
           limits:
             cpu: 500m
             memory: 128Mi
       topicOperator:
         watchedNamespace: my-topic-namespace
         reconciliationIntervalSeconds: 60
         logging: 

   29

   
           type: inline
           loggers:
             rootLogger.level: INFO
         resources:
           requests:
             memory: 512Mi
             cpu: "1"
           limits:
             memory: 512Mi
             cpu: "1"
       userOperator:
         watchedNamespace: my-topic-namespace
         reconciliationIntervalSeconds: 60
         logging: 

   30

   
           type: inline
           loggers:
             rootLogger.level: INFO
         resources:
           requests:
             memory: 512Mi
             cpu: "1"
           limits:
             memory: 512Mi
             cpu: "1"
     kafkaExporter: 

   31

   
       # ...
     cruiseControl: 

   32

   
       # ...

   1

   복제본 노드 수입니다.

   2

   업그레이드 절차에 따라 지원되는 버전으로 변경할 수 있는 Kafka 버전.

   3

   Kafka 로거 및 로그 수준은 ConfigMap을 통해 직접 (인라인) 추가되거나 간접적으로 (외부)합니다. 사용자 지정 ConfigMap을 log4j.properties 키에 배치해야 합니다. Kafka kafka.root.logger.level 로거의 경우 로그 수준을 INFO, ERROR, WARN, TRACE, DEBUG, FATAL 또는 OFF로 설정할 수 있습니다.

   4

   지원되는 리소스 예약, 현재 cpu 및 memory 및 사용할 수 있는 최대 리소스를 지정하는 제한입니다.

   5

   컨테이너(liveness)를 다시 시작할 시기와 컨테이너가 트래픽을 수락할 수 있는 시기(가용성)를 확인할 수 있는 상태 점검 입니다.

   6

   Kafka를 실행하는 VM(가상 머신)의 성능을 최적화하는 JVM 구성 옵션입니다.

   7

   ADVANCED OPTION : 컨테이너 이미지 구성.이는 특별한 경우에만 권장됩니다.

   8

   리스너는 클라이언트가 부트스트랩 주소를 통해 Kafka 클러스터에 연결하는 방법을 구성합니다. 리스너는 OpenShift 클러스터 내부 또는 외부에서 연결하기 위해 내부 또는 외부 리스너로 구성됩니다.

   9

   리스너를 식별할 이름입니다. Kafka 클러스터 내에서 고유해야 합니다.

   10

   Kafka 내부의 리스너에서 사용하는 포트 번호입니다. 포트 번호는 지정된 Kafka 클러스터 내에서 고유해야 합니다. 허용되는 포트 번호는 9092이고 포트 9404 및 9999를 제외하고 이미 Prometheus 및 10.0.0.1에 사용됩니다. 리스너 유형에 따라 포트 번호가 Kafka 클라이언트를 연결하는 포트 번호와 동일하지 않을 수 있습니다.

   11

   내부 또는 cluster-ip 로 지정된 리스너 유형(broker별 ClusterIP 서비스를 사용하여 Kafka를 노출) 또는 외부 리스너의 경우 경로 (OpenShift만), 로드 밸런서,노드 포트 또는 수신 (Kubernetes만 해당)으로 지정됩니다.

   12

   각 리스너에 대해 TLS 암호화를 활성화합니다. 기본값은 false 입니다. 경로 리스너에는 TLS 암호화가 필요하지 않습니다.

   13

   클러스터 서비스 접미사(일반적으로 .cluster.local)를 포함한 정규화된 DNS 이름이 할당되는지 여부를 정의합니다.

   14

   mTLS, SCRAM-SHA-512 또는 토큰 기반 OAuth 2.0으로 지정된 리스너 인증 메커니즘.

   15

   외부 리스너 구성은 경로,loadbalancer 또는 nodeport를 통해 Kafka 클러스터가 OpenShift 외부에 노출되는 방법을 지정합니다.

   16

   외부 CA(인증 기관)에서 관리하는 Kafka 리스너 인증서에 대한 선택적 구성입니다. brokerCertECDHEAndKey 는 서버 인증서와 개인 키가 포함된 보안을 지정합니다. 활성화된 TLS 암호화를 사용하여 모든 리스너에서 Kafka 리스너 인증서를 구성할 수 있습니다.

   17

   권한 부여 를 사용하면 Kafka 브로커에서 간단한 OAUTH 2.0 또는 OPA 인증을 사용할 수 있습니다. 간단한 인증에서는 AclAuthorizer Kafka 플러그인을 사용합니다.

   18

   브로커 구성. 표준 Apache Kafka 구성을 제공하여 AMQ Streams에서 직접 관리하지 않는 속성으로 제한될 수 있습니다.

   19

   영구 볼륨의 스토리지 크기가 증가할 수 있으며 추가 볼륨을 JBOD 스토리지에 추가할 수 있습니다.

   20

   영구 스토리지에는 동적 볼륨 프로비저닝을 위한 스토리지 ID 및 클래스 와 같은 추가 구성 옵션이 있습니다.

   21

   다양한 랙, 데이터 센터 또는 가용 영역에 복제본을 분산하기 위한 Rack 인식 구성입니다. topologyKey 는 rack ID가 포함된 노드 레이블과 일치해야 합니다. 이 구성에 사용된 예제에서는 표준 topology.kubernetes.io/zone 레이블을 사용하여 영역을 지정합니다.

   22

   Prometheus 지표 가 활성화되었습니다. 이 예에서는 Prometheus ScanSetting Exporter(기본 지표 내보내기)에 대한 지표가 구성됩니다.

   23

   Prometheus exporter에 대한 구성이 포함된 ConfigMap을 참조하여 활성화되는 Prometheus dashboard를 통해 Grafana 대시보드로 메트릭을 내보내는 규칙입니다. metricsConfig.valueFrom.configMapKeyRef.key 아래에 빈 파일이 포함된 ConfigMap에 대한 참조를 사용하여 추가 구성 없이 메트릭을 활성화할 수 있습니다.

   24

   Kafka 구성과 유사한 속성을 포함하는 zookeeper-specific 구성입니다.

   25

   ZooKeeper 노드 수입니다. zookeeper 클러스터 또는 ensembles는 일반적으로 홀수의 노드 (일반적으로 3, 5 또는 7)와 함께 실행됩니다. 효과적인 쿼럼을 유지하려면 대부분의 노드를 사용할 수 있어야 합니다. ZooKeeper 클러스터에서 쿼럼이 손실되면 클라이언트에 대한 응답이 중지되고 Kafka 브로커가 작동을 중지합니다. AMQ Streams에는 안정적이고 가용성이 높은 ZooKeeper 클러스터를 갖는 것이 중요합니다.

   26

   지정된 ZooKeeper 로거 및 로그 수준.

   27

   Topic Operator 및 User Operator에 대한 구성을 지정하는 entity Operator 구성

   28

   엔티티 Operator TLS 사이드카 구성. entity Operator는 TLS 사이드카를 사용하여 ZooKeeper와의 보안 통신을 지원합니다.

   29

   지정된 Topic Operator 로거 및 로그 수준. 이 예에서는 인라인 로깅을 사용합니다.

   30

   지정된 사용자 Operator 로거 및 로그 수준.

   31

   Kafka 내보내기 구성. Kafka 내보내기 는 Kafka 브로커, 특히 소비자 지연 데이터에서 메트릭 데이터를 추출하는 선택적 구성 요소입니다. Kafka 내보내기가 제대로 작동하려면 소비자 그룹을 사용 중이어야 합니다.

   32

   Kafka 클러스터를 재조정하는 데 사용되는 Cruise Control에 대한 선택적 구성입니다.

2. 리소스를 생성하거나 업데이트합니다.

   oc apply -f <kafka_configuration_file>

절차

1. OpenShift 콘솔을 사용하여 터미널을 열거나 CLI에서 exec 명령을 실행합니다.

   예를 들면 다음과 같습니다.

   oc exec -ti my-cluster-zookeeper-0 -- bin/kafka-topics.sh --list --zookeeper localhost:12181

   localhost:12181 을 사용해야 합니다.

   이제 ZooKeeper에 Kafka 명령을 실행할 수 있습니다.

절차

1. 삭제할 Pod 의 이름을 찾습니다.

   Kafka 브로커 Pod의 이름은 < cluster-name> -kafka- <index >입니다. 여기서 < index >는 0에서 시작하여 총 복제본 수에서 1을 뺀 값입니다. 예: my-cluster-kafka-0.

2. OpenShift에서 포드 리소스에 주석을 답니다.

   oc annotate:

   oc annotate pod cluster-name-kafka-index strimzi.io/delete-pod-and-pvc=true

3. 다음 조정이 있을 때까지 기다린 후 기본 영구 볼륨 클레임을 사용하여 주석이 달린 Pod가 삭제되고 다시 생성됩니다.

절차

1. 삭제할 Pod 의 이름을 찾습니다.

   zookeeper Pod의 이름은 < cluster-name> -zookeeper- <index >입니다. 여기서 < index >는 0에서 시작하여 총 복제본 수에서 1을 뺀 값입니다. 예: my-cluster-zookeeper-0.

2. OpenShift에서 포드 리소스에 주석을 답니다.

   oc annotate:

   oc annotate pod cluster-name-zookeeper-index strimzi.io/delete-pod-and-pvc=true

3. 다음 조정이 있을 때까지 기다린 후 기본 영구 볼륨 클레임을 사용하여 주석이 달린 Pod가 삭제되고 다시 생성됩니다.