搜索

19.4. 重新平衡性能调优概述

download PDF

您可以调整集群重新平衡的几个性能调优选项。这些选项控制如何执行重新平衡中的分区副本和领导移动,以及分配给重新平衡操作的带宽。

19.4.1. 分区重新分配命令

优化建议 由单独的分区重新分配命令组成。当您 批准 提议时,Cruise Control 服务器会将这些命令应用到 Kafka 集群。

分区重新分配命令由以下一种操作组成:

  • 分区移动:强制将分区副本及其数据传输到新位置。分区移动可以采用两种形式之一:

    • inter-broker movement :分区副本被移到不同代理上的日志目录中。
    • intra-broker movement :分区副本被移到同一代理的不同日志目录中。
  • 领导移动:这涉及切换分区副本的领导。

Cruise Control 在批处理中向 Kafka 集群发出分区重新分配命令。重新平衡期间集群的性能会受到每个批处理中包含的每种移动数量的影响。

19.4.2. 副本移动策略

集群重新平衡性能也会受到 副本移动策略的影响,该策略应用于分区重新分配命令的批处理。默认情况下,Cruise Control 使用 BaseReplicaMovementStrategy,它只需按照生成顺序应用命令。但是,如果提议的早期有一些非常大的分区重新分配,则此策略可能会减慢其他重新分配的应用程序。

Cruise Control 提供了四个替代副本移动策略,可用于优化提议:

  • PrioritizeSmallReplicaMovementStrategy: Order reassignments 以升序表示。
  • PrioritizeLargeReplicaMovementStrategy: Order reassignments,以降序排列。
  • PostponeUrpReplicaMovementStrategy: 优先考虑为没有处于不同步状态的分区的服务的重新分配。
  • PrioritizeMinIsrWithOfflineReplicasStrategy: prioritiesitize reassignments with (At/Under) MinISR 分区,具有离线副本。只有在 Kafka 自定义资源的 spec 中将 cruiseControl.config.concurrency.adjuster.min.isr.check.enabled 设置为 true 时,此策略才会正常工作。

这些策略可以配置为序列。第一个策略尝试使用其内部逻辑比较两个分区重新分配。如果重新分配等同于,那么它将按顺序传递给下一个策略,以确定顺序等。

19.4.3. intra-broker 磁盘平衡

在同一代理的磁盘间移动大量数据比独立代理间的影响较低。如果您正在运行使用带有同一代理中的多个磁盘的 JBOD 存储的 Kafka 部署,Cruise Control 可以平衡磁盘之间的分区。

注意

如果您将 JBOD 存储与单一磁盘配合使用,在代理磁盘平衡中,则会导致一个有 0 分区移动的成成,因为没有磁盘之间的平衡。

要执行 intra-broker 磁盘平衡,请在 KafkaRebalance.spec 下将 rebalanceDisk 设置为 true。当将 rebalanceDisk 设置为 true 时,不要在 KafkaRebalance.spec 中设置 goals 字段,因为 Cruise Control 会自动设置 intra-broker 目标并忽略 inter-broker 目标。Cruise Control 不会同时执行 inter-broker 和 intra-broker 平衡。

19.4.4. 重新平衡调整选项

Cruise Control 提供多个配置选项用于调优上述重新平衡参数。在使用 Kafka 配置和部署 Cruise Control 时,您可以设置这些调整选项或优化提议级别:

  • Cruise Control server 设置可以在 Kafka. spec.cruiseControl.config 下的 Kafka 自定义资源中设置。
  • 单个重新平衡性能配置可以在 KafkaRebalance.spec 下设置。

下表总结了相关的配置。

表 19.2. 重新平衡性能调优配置
Cruise Control 属性KafkaRebalance 属性默认描述

num.concurrent.partition.movements.per.broker

concurrentPartitionMovementsPerBroker

5

每个分区重新分配批处理中的最大 inter-broker 分区移动数

num.concurrent.intra.broker.partition.movements

concurrentIntraBrokerPartitionMovements

2

每个分区重新分配批处理中的最大 intra-broker 分区移动数

num.concurrent.leader.movements

concurrentLeaderMovements

1000

每个分区重新分配批处理中的最大分区领导更改数

default.replication.throttle

replicationThrottle

null (无限制)

分配给分区重新分配的带宽(每秒字节数)

default.replica.movement.strategies

replicaMovementStrategies

BaseReplicaMovementStrategy

用于决定为生成的提议执行分区重新分配命令的顺序(优先级顺序)的列表。对于 server 设置,使用以逗号分隔的字符串,以及策略类的完全限定名称(将 com.linkedin.kafka.cruisecontrol.executor.strategy. 添加到每个类名称的开头)。对于 KafkaRebalance 资源设置,请使用策略类名称的 YAML 数组。

-

rebalanceDisk

false

启用 intra-broker 磁盘平衡,平衡同一代理上磁盘之间的磁盘空间利用率。只适用于使用多个磁盘的 JBOD 存储的 Kafka 部署。

更改默认设置会影响重新平衡完成所需的时间,以及重新平衡期间在 Kafka 集群上放置的负载。使用较低值可减少负载,但会增加所花费的时间,反之亦然。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.