第 8 章 用于集群重新平衡的精简控制
您可以将 Cruise Control 部署到 AMQ Streams 集群,并使用它来 重新平衡 Kafka 集群。
cruise Control 是一个开源系统,用于自动执行 Kafka 操作,如监控集群工作负载、根据预定义的限制重新平衡集群,以及检测和修复异常情况。它由四个主要组件组成-Load Monitor、Analyzer、Anomaly Detector 和 Executor-以及用于客户端交互的 REST API。AMQ Streams 利用 REST API 支持以下 Cruise Control 功能:
- 从多个 优化 目标生成优化。
- 根据优化建议重新平衡 Kafka 集群。
目前不支持其他 Cruise 控制功能,包括异常检测、通知、写入目标以及更改主题复制因素。
示例 /cruise-control/ 中提供了 Cruise 控制的 YAML 文件示例
。
8.1. 为什么使用清理控制?
cruise Control 可减少运行高效、均衡 Kafka 集群所需的时间和工作量。
典型的群集可能会随着时间推移而变得异常加载。处理大量消息流量的分区可能会在可用的代理中不均匀分布。要重新平衡集群,管理员必须监控代理上的负载,并手动将繁忙的分区重新分配给具有备用容量的代理。
整合控制可自动执行集群重新平衡过程。它构造 cluster- 的资源使用率 工作负载模型基于 CPU、磁盘和网络 load-并为更均衡的分区分配生成优化建议(您可以批准或拒绝)。使用一组可配置的优化目标来计算这些假设。
当您批准一个优化建议时,Cruise Control 将其应用到 Kafka 集群。当集群重新平衡操作完成后,代理 Pod 会被更有效地使用,Kafka 集群也会更加均匀地平衡。
其他资源