14.6. 优化建议概述


optimization proposal 是要生成一个更加均衡的 Kafka 集群、在代理中平均分配分区工作负载的建议概述。

每个优化建议均基于一组用于生成它的 优化目标,受代理资源配置的任何容量限制

所有优化的提议都是对提议重新平衡的影响的估算。您可以批准或拒绝提议。在不首先生成优化提议的情况下,您无法批准集群重新平衡。

您可以使用以下端点之一运行优化方案:

  • /rebalance
  • /add_broker
  • /remove_broker

14.6.1. 重新平衡端点

当您发送 POST 请求时,您可以指定重新平衡端点来生成优化建议。

/rebalance
/rebalance 端点通过在集群中的所有代理间移动副本来运行完全重新平衡。
/add_broker
add_broker 端点在扩展 Kafka 集群后通过添加一个或多个代理来使用。通常,在扩展 Kafka 集群后,新的代理仅用于托管新创建的主题的分区。如果没有创建新主题,则不会使用新添加的代理,现有代理仍保留在同一负载中。通过在向集群添加代理后立即使用 add_broker 端点,重新平衡操作会将副本从现有代理移到新添加的代理中。您可以在 POST 请求中将新代理指定为 brokerid 列表。
/remove_broker
在通过删除一个或多个代理来缩减 Kafka 集群前,使用 /remove_broker 端点。如果您缩减 Kafka 集群,即使它们托管副本也会关闭代理。这可能导致不复制的分区,并可能导致某些分区处于其最小 ISR 下(同步副本)。为了避免这个潜在的问题,/remove_broker 端点会将副本从要删除的代理中移出。当这些代理不再托管副本时,可以安全地运行缩减操作。您可以在 POST 请求中指定您要删除的代理作为 brokerid 列表。

通常,通过将负载分散到代理,使用 /rebalance 端点来重新平衡 Kafka 集群。只有在您要扩展集群或缩减并相应地重新平衡副本时,才使用 /add-broker 端点和 /remove_broker 端点。

运行重新平衡的步骤实际在三个不同的端点之间是相同的。唯一的区别是列出添加或将删除到请求的代理。

14.6.2. 批准或拒绝优化建议

优化提议摘要显示所提议的更改范围。摘要返回通过 Cruise Control API 对 HTTP 请求的响应。

当您向 /rebalance 端点发出 POST 请求时,会在响应中返回一个优化建议摘要。

返回优化提议概述

curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
Copy to Clipboard Toggle word wrap

使用概述来决定是否批准或拒绝优化提议。

批准优化建议
您可以通过向 /rebalance 端点发出 POST 请求并将 dryrun 参数设置为 false (默认为 true)来批准优化方案。Cruise Control 将提议应用到 Kafka 集群,并启动集群重新平衡操作。
拒绝优化建议
如果您选择不批准优化方案,您可以更改优化目标更新任何重新平衡性能调优选项,然后生成另一个提议。您可以重新发送没有 dryrun 参数的请求,以生成新的优化建议。

使用优化建议来评估重新平衡所需的移动。例如,摘要描述了 inter-broker 和 in-broker 移动。在代理内重新平衡会在单独的代理之间移动数据。当使用 JBOD 存储配置时,代理内重新平衡会在同一代理磁盘上的磁盘间移动数据。即使您没有进入并批准提议,这些信息也很有用。

因为在重新平衡时在 Kafka 集群中出现额外的负载,您可能会拒绝优化过程或延迟其批准。

在以下示例中,建议在不同代理间重新平衡数据。重新平衡涉及在代理间移动 55 个分区副本,总计 12MB 的数据。虽然分区副本间的移动对性能有高影响,但数据总数不大。如果总数据较大,您可以拒绝提议,或者批准重新平衡以限制对 Kafka 集群的性能的影响。

重新平衡性能调优选项有助于降低数据移动的影响。如果可扩展重新平衡周期,您可以将重新平衡分成较小的批处理。单个时间的数据移动较少,减少了集群的负载。

优化建议概述示例

Optimization has 55 inter-broker replica (12 MB) moves, 0 intra-broker
replica (0 MB) moves and 24 leadership moves with a cluster model of 5
recent windows and 100.000% of the partitions covered.
Excluded Topics: [].
Excluded Brokers For Leadership: [].
Excluded Brokers For Replica Move: [].
Counts: 3 brokers 343 replicas 7 topics.
On-demand Balancedness Score Before (78.012) After (82.912).
Provision Status: RIGHT_SIZED.
Copy to Clipboard Toggle word wrap

提议还将 24 个分区领导机移到不同的代理。这需要对 ZooKeeper 配置进行更改,这对性能有低影响。

平衡分数是批准优化提议前后 Kafka 集群的整体平衡度量。平衡分数基于优化目标。如果满足所有目标,则分数为 100。当一个目标不满足时,分数会降低。比较 balancedness 分数,以查看 Kafka 集群是否小于其平衡。

provision 状态指示当前集群配置是否支持优化目标。检查 provision 状态,以查看您是否应该添加或删除代理。

Expand
表 14.2. 优化提议置备状态
状态描述

RIGHT_SIZED

集群有合适的代理数来满足优化目标。

UNDER_PROVISIONED

集群处于置备状态,需要更多代理来满足优化目标。

OVER_PROVISIONED

集群被过度置备,需要较少的代理来满足优化目标。

UNDECIDED

状态不相关,或者尚未决定。

14.6.3. 优化提议摘要属性

下表描述了优化提议中包含的属性。

Expand
表 14.3. 优化建议概述中包含的属性
属性描述

n inter-broker replica (y MB) moves

n :在独立代理间移动的分区副本数。

重新平衡操作过程中对性能的影响 :相对高。

y MB :将移动到独立代理的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.集群重新平衡所需的时间越大,完成集群重新平衡所需的时间。

n intra-broker replica (y MB) moves

n :在集群代理磁盘间传输的分区副本数。

在重新平衡操作过程中对性能的影响 :相对高,但小于 inter-broker 副本移动

y MB :在同一代理的磁盘间移动的每个分区副本的大小总和。

重新平衡操作期间的性能影响 :变量.集群重新平衡所需的时间越大,完成集群重新平衡所需的时间。在同一代理的磁盘间移动大量数据比独立代理间的影响要小(请参阅 inter-broker replica move)。

n excluded topics

在优化建议中计算分区副本/领导移动中排除的主题数量。

您可以使用以下方法之一排除主题:

cruisecontrol.properties 文件中指定 topics.excluded.from.partition.movement 属性中的正则表达式。

在到 /rebalance 端点的 POST 请求中,在 exclude_topics 参数中指定正则表达式。

与正则表达式匹配的主题列在响应中,并将排除在集群重新平衡中。

n 领导移动

n :其领导机切换到不同副本的分区数量。这涉及对 ZooKeeper 配置的更改。

重新平衡操作期间的性能影响 :相对低。

n 最近窗口

n :基于优化器的指标窗口数量。

涵盖的分区的 n%

n% :优化建议涵盖的 Kafka 集群中的分区百分比。

On-demand Balancedness Score Before (nn.yyy) After (nn.yyy)

Kafka 集群的整体平衡的测量。

Cruise Control 根据多个因素(目标在 default.goal 或用户提供的目标列表中,为每一个优化目标分配了一个 Balancedness Score)。按需保证分数的计算方式为:从 100 中减去每个违反的软目标 Balancedness Score 的总和。

Before score 基于 Kafka 集群的当前配置。After 分数基于生成的优化提议。

14.6.4. 缓存优化建议

Cruise Control 根据配置的默认优化目标维护缓存的优化建议。从工作负载模型生成,缓存的优化方案每 15 分钟更新一次,以反映 Kafka 集群的当前状态。

当使用以下目标配置时,会返回最近的缓存的优化建议:

  • 默认优化目标
  • 用户提供的优化目标,可通过当前缓存的提议实现

要更改缓存的优化建议刷新间隔,请编辑 cruisecontrol.properties 文件中的 proposal.expiration.ms 设置。对于快速更改的集群,请考虑较短的间隔,但这会增加 Cruise Control 服务器上的负载。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat