搜索

14.6. 优化调整概述

download PDF

优化建议是建议 的更改摘要,如果应用这些更改,则会生成更加均衡的 Kafka 集群,在代理之间更均匀地分配分区工作负载。每个优化建议都基于用于生成 目标的一组优化目标,受代理资源配置 容量限制 的影响。

当您向 /rebalance 端点发出 POST 请求时,会返回一个优化建议。使用提议中的信息,决定是否根据建议启动集群重新平衡。或者,您可以更改优化目标,然后产生另一个建议。

默认情况下,优化优化会生成为空 运行,必须单独启动。对可生成的优化说明数量没有限制。

缓存优化建议

整合控制根据配置 的默认 优化目标维护缓存优化 建议。从工作负载模型生成的缓存优化建议每 15 分钟更新一次,以反映 Kafka 集群的当前状态。

使用以下目标配置时会返回最新的缓存优化建议:

  • 默认优化目标
  • 用户提供的优化目标,可被当前缓存的建议实现

要更改缓存的优化建议刷新间隔,编辑 cruisecontrol.properties 文件中的 proposal.expiration.ms 设置。为快速更改集群考虑一个较短的间隔,尽管这会增加 Cruise Control 服务器上的负载。

优化调整的内容

下表描述了优化建议中包含的属性。

表 14.2. 优化建议中包含的属性
属性描述

n inter-broker replica (y MB) moves

n: 在独立代理之间移动的分区副本数。

重新平衡操作期间的性能影响 :相对高.

y MB:将移动到独立代理的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.MB 数量越多,群集重新平衡将需要的时间就越长。

n intra-broker replica (y MB) moves

n:群集代理磁盘之间传输的分区副本总数。

重新平衡操作过程中的性能影响 :相对较高,但小于 inter-broker replica moves

y MB:在同一代理的磁盘之间移动的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.数量越大,集群重新平衡所需的时间也越长。同一代理的磁盘之间移动大量数据的影响小于不同代理之间的影响(请参阅 inter-broker replica moves)。

n excluded topics

优化建议中分区副本/领导移动计算中排除的主题数量。

您可以通过以下方法之一排除主题:

cruisecontrol.properties 文件中,在 topics.excluded.from.partition.movement 属性中指定一个正则表达式。

在到 /rebalance 端点的 POST 请求中,在 excluded_topics 参数中指定一个正则表达式。

与正则表达式匹配的主题列在响应中,并将从群集重新平衡中排除。

n leadership moves

n: 领导者将切换到不同副本的分区数量。这涉及对 ZooKeeper 配置的更改。

重新平衡操作期间的性能影响 :相对较低的.

n recent windows

n:优化建议所基于的指标窗口数量。

n% of the partitions covered

n%: Kafka 集群中分区的百分比包括在优化建议中。

On-demand Balancedness Score Before (nn.yyy) After (nn.yyy)

测量 Kafka 集群的整体平衡。

整合控制根据多个因素为每个优化目标分配 Balancedness Score,包括优先级(目标在 default.goals 或用户提供的目标列表中的位置)。On-demand Balancedness Score 计算方式是从 100 中减去每个违反的软目标的 Balancedness Score 的总和。

Before 分数基于 Kafka 集群的当前配置。After 分数基于生成的优化建议。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.