第 17 章 通过添加或删除代理来扩展集群

通过添加代理扩展 Kafka 集群可以提高集群的性能和可靠性。添加更多代理会增加可用资源，允许集群处理较大的工作负载并处理更多信息。它还可以通过提供更多副本和备份来提高容错。相反，删除使用率不足的代理可以降低资源消耗并提高效率。必须仔细进行缩放以避免中断或数据丢失。通过在集群中的所有代理间重新分发分区，每个代理的资源利用率会减少，这可以提高集群的整体吞吐量。

调整 Kafka.spec.kafka.replicas 配置会影响作为副本的集群中的代理数量。主题的实际复制因素由 default.replication.factor 和 min.insync.replicas 的设置以及可用代理的数量决定。例如，复制因素 3 表示主题的每个分区在三个代理之间复制，确保在代理失败时进行容错。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

当通过 Kafka 配置添加代理时，节点 ID 以 0 （零）开始，Cluster Operator 会为新节点分配下一个最低 ID。代理删除过程从集群中 ID 的最高代理 pod 开始。

如果您要使用节点池功能的预览来管理集群中的节点，您可以调整 KafkaNodePool.spec.replicas 配置以更改节点池中的节点数。另外，在使用节点池扩展现有集群时，您可以为 扩展操作分配节点 ID。

当您添加或删除代理时，Kafka 不会自动重新分配分区。执行此操作的最佳方法是使用 Cruise Control。您可以在扩展集群或缩减时使用 Cruise Control 的 add-brokers 和 remove-brokers 模式。