搜索

8.3. 优化调整概述

download PDF

优化建议是建议 更改的总结,这些更改将产生更为均衡的 Kafka 集群,在代理间更均匀地分配分区工作负载。每个优化建议都基于用于生成 目标的一组优化目标,受 代理资源配置容量限制的影响

KafkaRebalance 自定义资源的 Status.Optimization Result 属性中包含了一个优化建议。提供的信息是完整优化建议摘要。使用摘要决定是否:

  • 批准优化建议。这指示 Cruise Control 将提议应用到 Kafka 集群并启动集群重新平衡操作。
  • 驳回优化建议。您可以更改优化目标,然后产生另一个建议。

所有优化调整都是 空运行 :您无法在不首先生成优化建议的情况下批准集群重新平衡。对可生成的优化说明数量没有限制。

缓存优化建议

整合控制根据配置的默认 优化目标维护缓存优化建议。从工作负载模型生成的缓存优化建议每 15 分钟更新一次,以反映 Kafka 集群的当前状态。如果您使用默认优化目标生成一个优化建议,Cruise Control 将返回最新的缓存建议。

要更改缓存的优化建议刷新间隔,请编辑 Cruise Control 部署配置中的 proposed.expiration.ms 设置。为快速更改集群考虑一个较短的间隔,尽管这会增加 Cruise Control 服务器上的负载。

优化调整的内容

下表描述了优化建议中包含的属性:

表 8.1. 优化建议中包含的属性
JSON 属性描述

numIntraBrokerReplicaMovements

在集群的代理磁盘之间传输的分区副本总数。

重新平衡操作过程中的性能影响 :相对较高,但低于 numReplicaMovements.

excludedBrokersForLeadership

尚不支持.返回一个空列表。

numReplicaMovements

在独立代理之间移动的分区副本数。

重新平衡操作过程中的性能影响 :相对较高的.

onDemandBalancednessScoreBefore, onDemandBalancednessScoreAfter

对生成优化建议之前和之后的 Kafka 集群的整体 平衡性 进行测量。

分数是通过从 100 减去每个违反软目标的 BalancednessScore 的总和来计算的。cruise Control 根据以下几个因素(包括 priority-​)为每个优化目标分配 a BalancednessScore目标在 default.goal 或用户提供的目标列表中的位置

Before 分数基于 Kafka 集群的当前配置。After 分数基于生成的优化建议。

intraBrokerDataToMoveMB

在同一代理的磁盘之间移动的每个分区副本的大小总和(请参阅 numIntraBrokerReplicaMovements)。

重新平衡操作过程中的性能影响 :变量.数量越大,集群重新平衡所需的时间也越长。在相同代理的磁盘之间移动大量数据比不同代理之间的影响小(请参阅 dataToMoveMB)。

recentWindows

优化建议所基于的指标窗口数量。

dataToMoveMB

移动到独立代理的每个分区副本的大小总和(请参阅 同时也是 numReplicaMovements)。

重新平衡操作过程中的性能影响 :变量.数量越大,集群重新平衡所需的时间也越长。

monitoredPartitionsPercentage

优化建议涵盖 Kafka 集群中分区的百分比。受 排除主题数量的影响.

excludedTopics

如果您在 KafkaRebalance 资源中的 spec.excludedTopicsRegex 属性中指定了正则表达式,则与该表达式匹配的所有主题名称都会在此列出。这些主题不包括在优化建议中的分区副本/领导移动计算中。

numLeaderMovements

领导者将切换到不同副本的分区数量。这涉及对 ZooKeeper 配置的更改。

重新平衡操作过程中的性能影响 :相对较低的.

excludedBrokersForReplicaMove

尚不支持.返回一个空列表。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.