第 18 章使用 Cruise Control 重新平衡集群

Cruise Control 是一个开源系统，支持以下 Kafka 操作：

此操作可帮助运行更有效地使用代理 pod 的 Kafka 集群。

典型的集群可能会随着时间不均匀地加载。处理大量消息流量的分区可能无法在可用的代理中平均分布。要重新平衡集群，管理员必须监控代理上的负载，并将忙碌的分区手动分配给具有备用容量的代理。

Cruise Control 自动执行集群重新平衡过程。它基于 CPU、磁盘和网络负载（您可以批准或拒绝）为集群构建资源利用率 的工作负载模型。一组可配置的优化目标用于计算这些提议。

您可以在特定模式中生成优化方案。默认 full 模式在所有代理间重新平衡分区。您还可以使用 add-brokers 和 remove-brokers 模式来适应扩展集群或缩减时的更改。

当您批准一个优化建议时，Cruise Control 会将它应用到您的 Kafka 集群。您可以使用 KafkaRebalance 资源配置和生成优化建议。您可以使用注解配置资源，以便自动或手动批准优化提议。

注意

18.1. Cruise Control 组件和功能
复制链接

Cruise Control 包括四个主要组件 - Load Monitor、Anomaly Detector 和 Executor- 以及用于客户端交互的 REST API。AMQ Streams 使用 REST API 来支持以下 Cruise Control 功能：

优化目标

优化目标描述了从重新平衡实现的特定目标。例如，目标是更加均匀地在代理间分发主题副本。您可以更改要通过配置包含哪些目标。目标定义为一个硬目标或软目标。您可以通过 Cruise Control 部署配置添加硬目标。您还有特定于这些类别的主要、默认和用户提供的目标。

优化提议

优化建议由您要从重新平衡实现的目标组成。您可以生成一个优化建议，以创建提议的更改概述以及重新平衡的结果。目标按照特定优先级顺序进行评估。然后您可以选择批准或拒绝提议。您可以拒绝使用调整的目标集合再次运行它。

您可以使用三种模式之一生成优化提议。

目前还不支持其他 Cruise Control 功能，包括自我修复、通知、编写目标以及更改主题复制因素。

返回顶部