第 14 章 用于集群重新平衡的精简控制


重要

用于集群重新平衡的精简控制只是一个技术预览。技术预览功能不被红帽产品服务级别协议(SLA)支持,且可能无法完成功能。红帽不推荐在生产环境中实施任何技术预览功能。此技术预览功能为您提供对即将推出的产品创新的早期访问,允许您在开发过程中测试并提供反馈。有关红帽技术预览功能支持范围的更多信息,请参阅 技术预览功能支持范围

您可以将 Cruise Control 部署到 AMQ Streams 集群,并使用它在 Kafka 代理间重新平衡负载。

cruise Control 是一个开源系统,用于自动执行 Kafka 操作,如监控集群工作负载、根据预定义的限制重新平衡集群,以及检测和修复异常情况。它包含四个组件(Load Monitor、Analyzer、Anomaly Detector 和 Executor)以及 REST API。

当 AMQ Streams 和 Cruise Control 都部署到红帽企业 Linux 中时,您可以通过 Cruise Control REST API 访问 Cruise Control 功能。支持以下功能:

  • 配置 优化目标和 容量限制
  • 使用 /rebalance 端点:

    • 根据配置的 优化目标 或作为请求参数提供的用户提供 的目标, 生成空运行优化调整信息
    • 启动优化建议以重新平衡 Kafka 集群
  • 使用 /user_tasks 端点检查活跃的重新平衡操作的进度
  • 使用 /stop_proposal_execution 端点停止活跃的重新平衡操作

目前不支持所有其他 Cruise 控制功能,包括异常检测、通知、写入目标以及更改主题复制因素。不支持 Web UI 组件(Cruise Control Frontend)。

Red Hat Enterprise Linux 中的 AMQ Streams 控制作为一个单独的压缩发行版提供。如需更多信息,请参阅 第 14.2 节 “下载清理控制存档”

14.1. 为什么使用清理控制?

cruise Control 可减少运行高效 Kafka 集群所需的时间和工作量,跨代理更均匀地平衡工作负载。

典型的群集可能会随着时间推移而变得异常加载。处理大量消息流量的分区可能会在可用的代理中不均匀分布。要重新平衡集群,管理员必须监控代理上的负载,并手动将繁忙的分区重新分配给具有备用容量的代理。

整合控制可自动执行此集群重新平衡过程。它根据 CPU、磁盘和网络负载构建资源利用率 的工作负载模型。通过使用一组可配置的优化目标,您可以指示 Cruise Control 生成空运行优化,从而实现更均衡的分区分配。

在审查了空运行优化建议后,您可以指示 Cruise Control 根据该建议启动集群重新平衡,或者生成新的提议。

当集群重新平衡操作完成后,代理会更有效地使用,Kafka 集群上的负载也会更加均匀地平衡。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.