11.3. 优化提议概述

11.3.1. 重新平衡模式
复制链接

您可以使用 KafkaRebalance 自定义资源的 spec.mode 属性指定重新平衡模式。

full: full 模式通过在集群中的所有代理间移动副本来运行完全重新平衡。如果在 KafkaRebalance 自定义资源中没有定义 spec.mode 属性，则这是默认模式。
add-brokers: add-brokers 模式在扩展 Kafka 集群后通过添加一个或多个代理来使用。通常，在扩展 Kafka 集群后，新的代理仅用于托管新创建的主题的分区。如果没有创建新主题，则不会使用新添加的代理，现有代理仍保留在同一负载中。通过在向集群添加代理后立即使用 add-brokers 模式，重新平衡操作会将副本从现有代理移到新添加的代理中。您可以使用 KafkaRebalance 自定义资源的 spec.brokers 属性将新代理指定为列表。
remove-brokers: 在通过删除一个或多个代理来缩减 Kafka 集群前使用 remove-brokers 模式。如果缩减 Kafka 集群，代理也会关闭，即使它们托管副本。这可能导致复制分区不足，并可能导致某些分区处于最小 ISR 下（同步副本）。为了避免这个问题，delete -brokers 模式会将副本从要删除的代理移出。当这些代理不再托管副本时，可以安全地运行缩减操作。您可以在 KafkaRebalance 自定义资源的 spec.brokers 属性中将您要删除的代理指定为列表。

通常，通过将负载分散到代理中，使用完整 重新平衡模式重新平衡 Kafka 集群。只有在您要扩展集群或缩减时，才使用 add-brokers 和 remove-brokers 模式，并相应地重新平衡副本。

在三种不同的模式下，运行重新平衡的过程实际上相同。唯一的区别是通过 spec.mode 属性指定模式，如果需要，列出已添加或将通过 spec.brokers 属性删除的代理。

11.3.2. 优化提议的结果
复制链接

生成优化建议时，会返回概述和代理负载。

概述: Summary 包含在 KafkaRebalance 资源中。概述概述了建议的集群重新平衡，并指示涉及的更改规模。KafkaRebalance 资源的 Status.OptimizationResult 属性中包含成功生成的优化建议概述。提供的信息是完整优化提议的总结。
代理加载: 代理负载存储在 ConfigMap 中，其中包含为 JSON 字符串的数据。代理负载显示在提议重新平衡的之前和之后，以便您可以看到对集群中的每个代理的影响。

11.3.3. 手动批准或拒绝优化建议
复制链接

优化建议概述显示了推荐的更改范围。

您可以使用 KafkaRebalance 资源的名称从命令行返回摘要。

返回优化建议概述

oc describe kafkarebalance <kafka_rebalance_resource_name> -n <namespace>

oc describe kafkarebalance <kafka_rebalance_resource_name> -n <namespace>

Copy to Clipboard

Toggle word wrap

您还可以使用 jq 命令行 JSON 解析器工具。

使用 jq 返回优化建议概述

oc get kafkarebalance -o json | jq <jq_query>.

oc get kafkarebalance -o json | jq <jq_query>oc get kafkarebalance -o json | jq <jq_query>.

Copy to Clipboard

Toggle word wrap

使用摘要来决定是否批准或拒绝优化提议。

批准优化建议: 您可以通过将 KafkaRebalance 资源的 strimzi.io/rebalance 注解设置为 批准来批准 优化建议。Cruise Control 将提议应用到 Kafka 集群，并启动集群重新平衡操作。
拒绝优化建议: 如果您选择不批准优化方案，您可以更改优化目标或更新任何重新平衡性能调优选项，然后生成另一个提议。您可以使用 strimzi.io/refresh 注解为 KafkaRebalance 资源生成新的优化建议。

使用优化建议来评估重新平衡所需的移动。例如，概述描述了 inter-broker 和 intra-broker 移动。在独立代理间重新平衡数据。当您使用 JBOD 存储配置时，在同一代理的磁盘间移动数据重新平衡。即使您没有提前并批准提议，此类信息也很有用。

因为在重新平衡时在 Kafka 集群中出现额外的负载，您可能会拒绝优化过程或延迟其批准。

在以下示例中，建议在单独的代理间重新平衡数据。重新平衡涉及在代理间移动 55 分区副本（数据总量为 12MB）。虽然分区副本间的移动对性能有高影响，但数据总数不大。如果总数据更大，您可以拒绝提议，或者在批准重新平衡时限制对 Kafka 集群性能的影响。

重新平衡性能调优选项有助于降低数据移动的影响。如果可扩展重新平衡周期，您可以将重新平衡分成较小的批处理。一次的数据移动较少可减少集群的负载。

优化提议概述示例

Name:         my-rebalance
Namespace:    myproject
Labels:       strimzi.io/cluster=my-cluster
Annotations:  API Version:  kafka.strimzi.io/v1alpha1
Kind:         KafkaRebalance
Metadata:
# ...
Status:
  Conditions:
    Last Transition Time:  2022-04-05T14:36:11.900Z
    Status:                ProposalReady
    Type:                  State
  Observed Generation:     1
  Optimization Result:
    Data To Move MB:  0
    Excluded Brokers For Leadership:
    Excluded Brokers For Replica Move:
    Excluded Topics:
    Intra Broker Data To Move MB:         12
    Monitored Partitions Percentage:      100
    Num Intra Broker Replica Movements:   0
    Num Leader Movements:                 24
    Num Replica Movements:                55
    On Demand Balancedness Score After:   82.91290759174306
    On Demand Balancedness Score Before:  78.01176356230222
    Recent Windows:                       5
  Session Id:                             a4f833bd-2055-4213-bfdd-ad21f95bf184

Name:         my-rebalance
Namespace:    myproject
Labels:       strimzi.io/cluster=my-cluster
Annotations:  API Version:  kafka.strimzi.io/v1alpha1
Kind:         KafkaRebalance
Metadata:
# ...
Status:
  Conditions:
    Last Transition Time:  2022-04-05T14:36:11.900Z
    Status:                ProposalReady
    Type:                  State
  Observed Generation:     1
  Optimization Result:
    Data To Move MB:  0
    Excluded Brokers For Leadership:
    Excluded Brokers For Replica Move:
    Excluded Topics:
    Intra Broker Data To Move MB:         12
    Monitored Partitions Percentage:      100
    Num Intra Broker Replica Movements:   0
    Num Leader Movements:                 24
    Num Replica Movements:                55
    On Demand Balancedness Score After:   82.91290759174306
    On Demand Balancedness Score Before:  78.01176356230222
    Recent Windows:                       5
  Session Id:                             a4f833bd-2055-4213-bfdd-ad21f95bf184

Copy to Clipboard

Toggle word wrap

该提议还将 24 个分区领导移到不同的代理。这需要对 ZooKeeper 配置的更改，这会影响性能。

平衡分数是批准优化提议前和之后 Kafka 集群的整体平衡度量。平衡分数基于优化目标。如果满足所有目标，则分数为 100。当一个目标不满足时，分数会降低。比较均衡分数，以查看 Kafka 集群是否比重新平衡要小。

11.3.4. 自动批准优化建议
复制链接

要节省时间，您可以自动执行批准优化方案的过程。通过自动化，当您生成优化建议时，它会进入集群重新平衡。

要启用优化提议 auto-approval 机制，请创建 KafkaRebalance 资源，并将 strimzi.io/rebalance-auto-approval 注解设置为 true。如果未设置注解或设置为 false，则优化提议需要手动批准。

启用 auto-approval 机制的重新平衡请求示例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaRebalance
metadata:
  name: my-rebalance
  labels:
    strimzi.io/cluster: my-cluster
  annotations:
    strimzi.io/rebalance-auto-approval: "true"
spec:
  mode: # any mode
  # ...

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaRebalance
metadata:
  name: my-rebalance
  labels:
    strimzi.io/cluster: my-cluster
  annotations:
    strimzi.io/rebalance-auto-approval: "true"
spec:
  mode: # any mode
  # ...

Copy to Clipboard

Toggle word wrap

在自动批准优化提议时，您仍然可以检查状态。在重新平衡完成后，KafkaRebalance 资源的状态将变为 Ready。

11.3.5. 优化建议概述属性
复制链接

下表解释了优化提议概述部分中包含的属性。

Expand

表 11.1. 优化建议概述中包含的属性
JSON 属性	Description
`numIntraBrokerReplicaMovements`	在集群代理磁盘之间传输的分区副本数量。重新平衡操作期间的性能影响：高，但低于 `numReplicaMovements`。
`excludedBrokersForLeadership`	尚不受支持。返回空列表。
`numReplicaMovements`	在独立代理之间移动的分区副本数量。重新平衡操作期间的性能影响：非常高。
`onDemandBalancednessScoreBefore, onDemandBalancednessScoreAfter`	在生成优化提议前和之后，测量 Kafka 集群的整体平衡性。分数通过将每个违反的软目标从 100 中减去 `BalancednessScore` 的总和来计算。Cruise Control 根据几个因素，为每个优化目标分配一个 `BalancednessScore`，包括目标在 `default.goals` 或用户提供的目标列表中的位置。 `Before` 分数基于 Kafka 集群的当前配置。`After` 分数基于生成的优化提议。
`intraBrokerDataToMoveMB`	在同一代理的磁盘间移动的每个分区副本的大小总和（请参阅 `numIntraBrokerReplicaMovements`）。重新平衡操作期间的性能影响：变量.集群重新平衡所需的时间越大，完成集群重新平衡所需的时间。在同一代理的磁盘之间移动大量数据比不同的代理之间的影响要小（请参阅 `dataToMoveMB`）。
`recentWindows`	优化提议的指标窗口数量。
`dataToMoveMB`	移到独立代理的每个分区副本的大小总和（请参阅 `numReplicaMovements`）。重新平衡操作期间的性能影响：变量.集群重新平衡所需的时间越大，完成集群重新平衡所需的时间。
`monitoredPartitionsPercentage`	优化提议涵盖的 Kafka 集群中的分区百分比。受 `excludedTopics` 数量的影响。
`excludedTopics`	如果您在 `KafkaRebalance` 资源中的 `spec.excludedTopicsRegex` 属性中指定正则表达式，则此处列出了与该表达式匹配的所有主题名称。这些主题不包括在优化建议中的分区副本/领导移动的计算中。
`numLeaderMovements`	领导程序切换到不同副本的分区数量。这包括对 ZooKeeper 配置的更改。重新平衡操作期间的性能影响：非常低。
`excludedBrokersForReplicaMove`	尚不受支持。返回空列表。

11.3.6. 代理加载属性
复制链接

代理负载存储在 ConfigMap 中（与 KafkaRebalance 自定义资源的名称相同），与 JSON 格式的字符串相同。此 JSON 字符串由一个 JSON 对象组成，每个代理 ID 的键链接到每个代理的多个指标。每个指标由三个值组成：第一个是应用优化提议前的指标值，第二个是应用提议后指标的预期值，第三个是前两个值之间的差别（在前减前）。

注意

当 KafkaRebalance 资源处于 ProposalReady 状态时，ConfigMap 会出现，并在重新平衡完成后保留。

您可以使用 ConfigMap 的名称从命令行查看其数据。

返回 ConfigMap 数据

oc describe configmaps <my_rebalance_configmap_name> -n <namespace>

oc describe configmaps <my_rebalance_configmap_name> -n <namespace>

Copy to Clipboard

Toggle word wrap

您还可以使用 jq 命令行 JSON 解析器工具从 ConfigMap 中提取 JSON 字符串。

使用 jq 从 ConfigMap 提取 JSON 字符串

oc get configmaps <my_rebalance_configmap_name> -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'

oc get configmaps <my_rebalance_configmap_name> -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'

Copy to Clipboard

Toggle word wrap

下表解释了优化提议的代理加载 ConfigMap 中包含的属性：

Expand

JSON 属性	Description
`领导`	此代理中分区领导的副本数。
`replicas`	此代理的副本数。
`cpuPercentage`	CPU 使用率作为定义的容量的百分比。
`diskUsedPercentage`	磁盘利用率作为定义的容量的百分比。
`diskUsedMB`	以 MB 为单位的绝对磁盘用量。
`networkOutRate`	代理的网络输出率总数。
`leaderNetworkInRate`	此代理上所有分区领导副本的网络输入率。
`followerNetworkInRate`	此代理上所有后续副本的网络输入率。
`potentialMaxNetworkOutRate`	如果此代理成为当前主机的所有副本的领导，则预测最大网络输出率将获得。

11.3.7. 缓存优化建议
复制链接

Cruise Control 根据配置的默认优化目标维护缓存的优化建议。从工作负载模型生成，缓存的优化方案每 15 分钟更新一次，以反映 Kafka 集群的当前状态。如果您使用默认优化目标生成优化建议，Cruise Control 会返回最新的缓存提议。

要更改缓存的优化建议刷新间隔，请编辑 Cruise Control 部署配置中的 proposal.expiration.ms 设置。对于快速更改的集群，考虑一个较短的间隔，但这会增加 Cruise Control 服务器的负载。

11.3.1. 重新平衡模式
复制链接

11.3.2. 优化提议的结果
复制链接

11.3.3. 手动批准或拒绝优化建议
复制链接

11.3.4. 自动批准优化建议
复制链接

11.3.5. 优化建议概述属性
复制链接

11.3.6. 代理加载属性
复制链接

11.3.7. 缓存优化建议
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

11.3. 优化提议概述

11.3.1. 重新平衡模式复制链接链接已复制到粘贴板!

11.3.2. 优化提议的结果复制链接链接已复制到粘贴板!

11.3.3. 手动批准或拒绝优化建议复制链接链接已复制到粘贴板!

11.3.4. 自动批准优化建议复制链接链接已复制到粘贴板!

11.3.5. 优化建议概述属性复制链接链接已复制到粘贴板!

11.3.6. 代理加载属性复制链接链接已复制到粘贴板!

11.3.7. 缓存优化建议复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

11.3.1. 重新平衡模式
复制链接

11.3.2. 优化提议的结果
复制链接

11.3.3. 手动批准或拒绝优化建议
复制链接

11.3.4. 自动批准优化建议
复制链接

11.3.5. 优化建议概述属性
复制链接

11.3.6. 代理加载属性
复制链接

11.3.7. 缓存优化建议
复制链接