15.7. 重新平衡性能调优概述
您可以调整集群重新平衡的几个性能调优选项。这些选项控制如何执行重新平衡中的分区副本和领导移动,以及分配给重新平衡操作的带宽。
分区重新分配命令
优化建议 由单独的分区重新分配命令组成。当您启动提议时,Cruise Control 服务器会将这些命令应用到 Kafka 集群。
分区重新分配命令由以下一种操作组成:
分区移动 :使分区副本及其数据传输到新位置。分区移动可以采用两种形式之一:
- inter-broker movement :分区副本被移到不同代理上的日志目录中。
- intra-broker movement :分区副本被移到同一代理的不同日志目录中。
- 领导移动 :尝试切换分区副本的领导。
Cruise Control 在批处理中向 Kafka 集群发出分区重新分配命令。重新平衡期间集群的性能会受到每个批处理中包含的每种移动数量的影响。
要配置分区重新分配命令,请参阅重新平衡调整选项。
副本移动策略
集群重新平衡性能也会受到 副本移动策略的影响,该策略应用于分区重新分配命令的批处理。默认情况下,Cruise Control 使用 BaseReplicaMovementStrategy
,它按照生成顺序应用命令。但是,如果提议的早期有一些非常大的分区重新分配,则此策略可能会减慢其他重新分配的应用程序。
Cruise Control 提供了三种替代副本移动策略,可用于优化提议:
-
PrioritizeSmallReplicaMovementStrategy
: Order reassignments 以升序大小为单位。 -
PrioritizeLargeReplicaMovementStrategy
: Order reassignments 以降序排列。 -
PostponeUrpReplicaMovementStrategy
: 优先考虑为没有处于不同步状态的分区的服务的重新分配。
这些策略可以配置为序列。第一个策略尝试使用其内部逻辑比较两个分区重新分配。如果重新分配等同于,那么它将按顺序传递给下一个策略,以确定顺序等。
要配置副本移动策略,请参阅重新平衡调整选项。
重新平衡调整选项
Cruise Control 提供多个配置选项用于调优重新平衡参数。这些选项通过以下方式设置:
-
作为属性,在
cruisecontrol.properties
文件中默认的 Cruise Control 配置中 -
作为 POST 请求中的参数到
/rebalance
端点
下表总结了这两种方法的相关配置。
Cruise Control 属性 | KafkaRebalance 参数 | 默认 | 描述 |
---|---|---|---|
|
| 5 | 每个分区重新分配批处理中的最大 inter-broker 分区移动数 |
|
| 2 | 每个分区重新分配批处理中的最大 intra-broker 分区移动数 |
|
| 1000 | 每个分区重新分配批处理中的最大分区领导更改数 |
|
| null (无限制) | 分配给分区重新分配的带宽(每秒字节数) |
|
|
|
用于决定为生成的提议执行分区重新分配命令的顺序(优先级顺序)的列表。有三个策略: |
更改默认设置会影响重新平衡完成所需的时间,以及重新平衡期间在 Kafka 集群上放置的负载。使用较低值可减少负载,但会增加所花费的时间,反之亦然。