17장. 브로커 추가 또는 제거를 통해 클러스터 스케일링

브로커를 추가하여 Kafka 클러스터를 확장하면 클러스터의 성능과 안정성을 높일 수 있습니다. 브로커를 더 많이 추가하면 사용 가능한 리소스가 증가하여 클러스터가 더 큰 워크로드를 처리하고 더 많은 메시지를 처리할 수 있습니다. 또한 더 많은 복제본 및 백업을 제공하여 내결함성을 향상시킬 수 있습니다. 반대로 활용도가 낮은 브로커를 제거하면 리소스 소비를 줄이고 효율성을 향상시킬 수 있습니다. 중단이나 데이터 손실을 방지하려면 스케일링을 신중하게 수행해야 합니다. 클러스터의 모든 브로커에 파티션을 재배포하면 각 브로커의 리소스 사용량이 줄어들어 클러스터의 전체 처리량이 증가할 수 있습니다.

Kafka.spec.kafka.replicas 구성을 조정하면 복제본 역할을 하는 클러스터의 브로커 수에 영향을 미칩니다. 주제의 실제 복제 요소는 default.replication.factor 및 min.insync.replicas 의 설정과 사용 가능한 브로커 수에 따라 결정됩니다. 예를 들어 3의 복제 요소는 주제의 각 파티션이 세 브로커에 복제되어 브로커가 실패할 경우 내결함성을 보장합니다.

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

Kafka 구성을 통해 브로커를 추가할 때 노드 ID는 0(영)에서 시작되고 Cluster Operator는 가장 낮은 ID를 새 노드에 할당합니다. 브로커 제거 프로세스는 클러스터에서 가장 높은 ID가 있는 브로커 Pod에서 시작됩니다.

노드 풀 기능의 프리뷰를 사용하여 클러스터에서 노드를 관리하는 경우 KafkaNodePool.spec.replicas 구성을 조정하여 노드 풀의 노드 수를 변경합니다. 또한 노드 풀을 사용하여 기존 클러스터를 확장할 때 확장 작업에 노드 ID를 할당 할 수 있습니다.

브로커를 추가하거나 제거하면 Kafka가 자동으로 파티션을 다시 할당하지 않습니다. 가장 좋은 방법은 Cruise Control을 사용하는 것입니다. 클러스터를 확장하거나 축소할 때 Cruise Control의 add-brokers 및 remove-brokers 모드를 사용할 수 있습니다.

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check="true"

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check="true"

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check-

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check-