14.6. 优化调整概述


优化建议是建议 的更改摘要,如果应用这些更改,则会生成更加均衡的 Kafka 集群,在代理之间更均匀地分配分区工作负载。每个优化建议都基于用于生成 目标的一组优化目标,受代理资源配置 容量限制 的影响。

当您向 /rebalance 端点发出 POST 请求时,会返回一个优化建议。使用提议中的信息,决定是否根据建议启动集群重新平衡。或者,您可以更改优化目标,然后产生另一个建议。

默认情况下,优化优化会生成为空 运行,必须单独启动。对可生成的优化说明数量没有限制。

缓存优化建议

整合控制根据配置 的默认 优化目标维护缓存优化 建议。从工作负载模型生成的缓存优化建议每 15 分钟更新一次,以反映 Kafka 集群的当前状态。

使用以下目标配置时会返回最新的缓存优化建议:

  • 默认优化目标
  • 用户提供的优化目标,可被当前缓存的建议实现

要更改缓存的优化建议刷新间隔,编辑 cruisecontrol.properties 文件中的 proposal.expiration.ms 设置。为快速更改集群考虑一个较短的间隔,尽管这会增加 Cruise Control 服务器上的负载。

优化调整的内容

下表描述了优化建议中包含的属性。

Expand
表 14.2. 优化建议中包含的属性
属性描述

n inter-broker replica (y MB) moves

n: 在独立代理之间移动的分区副本数。

重新平衡操作期间的性能影响 :相对高.

y MB:将移动到独立代理的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.MB 数量越多,群集重新平衡将需要的时间就越长。

n intra-broker replica (y MB) moves

n:群集代理磁盘之间传输的分区副本总数。

重新平衡操作过程中的性能影响 :相对较高,但小于 inter-broker replica moves

y MB:在同一代理的磁盘之间移动的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.数量越大,集群重新平衡所需的时间也越长。同一代理的磁盘之间移动大量数据的影响小于不同代理之间的影响(请参阅 inter-broker replica moves)。

n excluded topics

优化建议中分区副本/领导移动计算中排除的主题数量。

您可以通过以下方法之一排除主题:

cruisecontrol.properties 文件中,在 topics.excluded.from.partition.movement 属性中指定一个正则表达式。

在到 /rebalance 端点的 POST 请求中,在 excluded_topics 参数中指定一个正则表达式。

与正则表达式匹配的主题列在响应中,并将从群集重新平衡中排除。

n leadership moves

n: 领导者将切换到不同副本的分区数量。这涉及对 ZooKeeper 配置的更改。

重新平衡操作期间的性能影响 :相对较低的.

n recent windows

n:优化建议所基于的指标窗口数量。

n% of the partitions covered

n%: Kafka 集群中分区的百分比包括在优化建议中。

On-demand Balancedness Score Before (nn.yyy) After (nn.yyy)

测量 Kafka 集群的整体平衡。

整合控制根据多个因素为每个优化目标分配 Balancedness Score,包括优先级(目标在 default.goals 或用户提供的目标列表中的位置)。On-demand Balancedness Score 计算方式是从 100 中减去每个违反的软目标的 Balancedness Score 的总和。

Before 分数基于 Kafka 集群的当前配置。After 分数基于生成的优化建议。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat