20장. 브로커 추가 또는 제거를 통해 클러스터 스케일링

프로세스

1. 자동 재조정 작업(필요한 경우)에 대한 재조정 템플릿을 생성합니다.

   strimzi.io/rebalance-template: "true" 주석을 사용하여 KafkaRebalance 리소스를 구성합니다. 리밸런스 구성 템플릿에는 재조정을 위한 최적화 제안을 생성할 때와 달리 모드 및 브로커 속성이 필요하지 않습니다.

   템플릿 구성 재조정의 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaRebalance
   metadata:
     name: my-add-remove-brokers-rebalancing-template
     annotations:
       strimzi.io/rebalance-template: "true" 

   1

   
   spec:
     goals:
       - CpuCapacityGoal
       - NetworkInboundCapacityGoal
       - DiskCapacityGoal
       - RackAwareGoal
       - MinTopicLeadersPerBrokerGoal
       - NetworkOutboundCapacityGoal
       - ReplicaCapacityGoal
     skipHardGoalCheck: true
     # ... other rebalancing configuration

   1

   주석은 리소스를 리밸런스 구성 템플릿으로 지정합니다.

2. 구성을 적용하여 템플릿을 생성합니다.

3. Kafka 리소스에 자동 재조정 구성을 추가합니다.

   이 예에서는 브로커 추가 및 제거에 동일한 템플릿이 사용됩니다.

   자동 재조정에 템플릿 사양을 사용하는 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     annotations:
       strimzi.io/node-pools: enabled
       strimzi.io/kraft: enabled
   spec:
     kafka:
       # ...
     cruiseControl:
       autoRebalance:
         - mode: add-brokers
           template:
             name: my-add-remove-brokers-rebalancing-template
         - mode: remove-brokers
           template:
             name: my-add-remove-brokers-rebalancing-template

   기본 Cruise Control 구성을 재조정하려면 템플릿 구성을 생략합니다. 이 예에서는 브로커를 추가할 때 기본 구성이 사용됩니다.

   자동 재조정에 기본 사양 사용 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     annotations:
       strimzi.io/node-pools: enabled
       strimzi.io/kraft: enabled
   spec:
     kafka:
       # ...
     cruiseControl:
       autoRebalance:
         - mode: add-brokers
         - mode: remove-brokers
           template:
             name: my-add-remove-brokers-rebalancing-template

4. Kafka 구성에 변경 사항을 적용합니다.
   Cluster Operator가 클러스터를 업데이트할 때까지 기다립니다.

5. 클러스터의 브로커 수를 나타내는 spec.replicas 속성을 조정하여 클러스터를 확장합니다.

   다음 예제에서는 세 개의 브로커를 사용하는 클러스터의 노드 풀 구성을 보여줍니다(replicas: 3).

   노드 풀 구성의 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: pool-b
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - broker
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
     # ...

   노드 풀을 통한 스케일링에 대한 자세한 내용은 다음을 참조하십시오.

   • 10.3.3절. “노드 풀에 노드 추가”.
   • 10.3.4절. “노드 풀에서 노드 제거”.

6. 리밸런스 상태를 확인합니다.
   상태는 Kafka 리소스에 표시됩니다.

   자동 재조정의 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     annotations:
       strimzi.io/node-pools: enabled
       strimzi.io/kraft: enabled
   spec:
     kafka:
       # ...
     cruiseControl:
       autoRebalance:
         - mode: add-brokers
           template:
             name: my-add-remove-brokers-rebalancing-template
         - mode: remove-brokers
           template:
             name: my-add-remove-brokers-rebalancing-template
   status:
     autoRebalance:
       lastTransitionTime: <timestamp_for_last_rebalance_state>
       state: RebalanceOnScaleDown 

   1

   
       modes: 

   2

   
         - mode: add-brokers
           brokers: <broker_ids>
         - mode: remove-brokers
           brokers: <broker_ids>

   1

   브로커를 추가할 때 RebalanceOnScaleUp 을 표시하는 리밸런스 상태 및 브로커를 제거할 때 RebalanceOnScaleDown 을 표시합니다. 스케일 다운 작업이 우선합니다. 초기 및 최종 상태(실패 또는 성공)는 Idle 으로 표시됩니다.

   2

   추가 또는 제거할 노드 목록을 사용하여 모드로 그룹화된 작업을 리밸런스합니다.