12.6. 优化提议概述
optimization proposal 是要生成一个更加均衡的 Kafka 集群、在代理中平均分配分区工作负载的建议概述。每个优化建议均基于一组用于生成它的 优化目标,受代理资源配置的任何容量限制。
所有优化的提议都是对提议重新平衡的影响的估算。您可以批准或拒绝提议。
12.6.1. 批准或拒绝优化建议 复制链接链接已复制到粘贴板!
优化提议摘要显示了所提议的更改范围。通过 Cruise Control API 对 HTTP 请求返回概述。
当您向 /rebalance
端点发出 POST 请求时,响应中会返回一个优化提议概述。
返回优化提议概述
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
使用摘要决定是否批准或拒绝优化提议。
- 批准优化提议
-
您可以通过向
/rebalance
端点发出 POST 请求并将dryrun
参数设置为false
来批准优化提议(默认为true
)。Cruise Control 将提议应用到 Kafka 集群,并启动集群重新平衡操作。 - 拒绝优化方案
-
如果您选择不批准优化方案,您可以更改优化目标或更新任何重新平衡性能调优选项,然后生成另一个提议。您可以在没有
dryrun
参数的情况下重新发送请求,以生成新的优化建议。
使用优化建议来评估重新平衡所需的移动。例如,优化提议描述了 inter-broker 和 intra-broker 移动。inter-broker 重新平衡在独立代理间移动数据。intra-broker 重新平衡可在同一代理上的磁盘之间移动数据。即使您没有提前并批准提议,此类信息也很有用。
提议还会显示迁移到不同代理的分区领导数。这需要对 ZooKeeper 配置进行更改,这对性能有低的影响。
因为在重新平衡时在 Kafka 集群中出现额外的负载,您可能会拒绝优化过程或延迟其批准。分区副本的交集移动对性能有严重影响。如果要移动的数据总量较大,您可以拒绝提议,或者在批准重新平衡来限制对 Kafka 集群性能的影响。
重新平衡性能调优选项有助于降低数据移动的影响。如果可扩展重新平衡周期,您可以将重新平衡分成较小的批处理。一次减少数据移动会减少集群的负载。
Balancedness score 是优化提议被批准前后 Kafka 集群的整体平衡度量。平衡分数基于优化目标。如果满足所有目标,则分数为 100。当一个目标不满足时,分数会降低。比较均衡分数,以查看 Kafka 集群是否低于重新平衡。
优化提议概述属性
下表描述了优化提议中包含的属性。
属性 | 描述 |
---|---|
|
在重新平衡操作期间影响性能 :高。
在重新平衡操作期间影响性能 :变量.集群重新平衡所需的时间越大,完成集群重新平衡所需的时间。 |
|
重新平衡操作期间的性能影响 : 高,但少于
在重新平衡操作期间影响性能 :变量.集群重新平衡所需的时间越大,完成集群重新平衡所需的时间。在同一代理的磁盘间移动大量数据比独立代理之间的影响较低(请参阅 |
| 优化建议中分区副本/领导移动计算以外的主题数量。 您可以使用以下方法之一排除主题:
在
在对 与正则表达式匹配的主题列在响应中,并将在集群重新平衡中排除。 |
|
在重新平衡操作期间影响性能 :低. |
|
|
|
|
| Kafka 集群的整体平衡的测量。
Cruise Control 根据多个因素(目标在
|
缓存的优化方案
Cruise Control 根据配置的默认优化目标维护缓存的优化建议。从工作负载模型生成,缓存的优化方案每 15 分钟更新一次,以反映 Kafka 集群的当前状态。
当使用以下目标配置时,返回最新缓存的优化方案:
- 默认优化目标
- 用户提供的优化目标,可在当前缓存的提议中满足
要更改缓存的优化提议刷新间隔,请编辑 cruisecontrol.properties
文件中的 proposal.expiration.ms
设置。考虑快速更改集群的间隔较短,尽管这会在 Cruise Control 服务器上增加负载。