第18章 ブローカーの追加または削除によるクラスターのスケーリング

ブローカーを追加して Kafka クラスターをスケーリングすると、クラスターのパフォーマンスと信頼性が向上します。ブローカーを追加すると、利用可能なリソースが増加し、クラスターがより大きなワークロードを処理し、より多くのメッセージを処理できるようになります。また、より多くのレプリカとバックアップを提供することでフォールトトレランスを向上させることもできます。逆に、十分に活用されていないブローカーを削除すると、リソースの消費が削減され、効率が向上します。中断やデータ損失を避けるために、スケーリングは慎重に行う必要があります。クラスター内のすべてのブローカーにパーティションを再分散することにより、各ブローカーのリソース使用率が削減され、クラスターの全体的なスループットが向上します。

Kafka.spec.kafka.replicas 設定を調整すると、レプリカとして機能するクラスター内のブローカーの数に影響します。トピックの実際のレプリケーション係数は、default.replication.factor および min.insync.replicas の設定、および使用可能なブローカーの数によって決まります。たとえば、レプリケーション係数 3 は、トピックの各パーティションが 3 つのブローカー間でレプリケーションされ、ブローカーに障害が発生した場合のフォールトトレランスを確保することを意味します。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

Kafka リソース設定を通じてブローカーを追加する場合、ノード ID は 0 (ゼロ) から始まり、Cluster Operator は次に小さい ID を新しいノードに割り当てます。ブローカーの削除プロセスは、クラスター内で最も高い ID を持つブローカー Pod から開始されます。

ノードプールを使用してクラスター内のノードを管理している場合は、KafkaNodePool.spec.replicas 設定を調整して、ノードプール内のノードの数を変更します。さらに、ノードプールを使用して既存のクラスターをスケーリングする場合は、スケーリング操作用のノード ID を割り当てる ことができます。

ブローカーを追加または削除しても、Kafka はパーティションを自動的に再割り当てしません。これを行う最良の方法は、Cruise Control を使用することです。クラスターをスケールアップまたはスケールダウンするときに、Cruise Control の add-brokers モードと remove-brokers モードを使用できます。

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check="true"

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check="true"

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check-

oc annotate Kafka my-kafka-cluster strimzi.io/skip-broker-scaledown-check-