第 10 章 管理 Kafka


使用额外的配置属性来维护 AMQ Streams 部署。您可以添加和调整设置以响应 AMQ Streams 的性能。例如,您可以添加额外的配置来提高吞吐量和数据可靠性。

重要

Kafka Static Quota 插件只是一个技术预览。红帽产品服务级别协议(SLA)不支持技术预览功能,且可能无法完成。红帽不推荐在生产环境中实施任何技术预览功能。此技术预览功能为您提供对即将推出的产品创新的早期访问,允许您在开发过程中测试并提供反馈。有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围

使用 Kafka Static Quota 插件在 Kafka 集群中的代理上设置吞吐量和存储限制。您可以通过在 Kafka 配置文件中添加属性来启用插件和设置限制。您可以设置一个字节阈值和存储配额,以便对与代理交互的客户端进行限制。

您可以为制作者和消费者带宽设置字节阈值。总限制在所有访问代理的客户端中分布。例如,您可以为制作者设置字节阈值 40 MBps。如果两个制作者正在运行,它们各自限制为 20 MBps 的吞吐量。

在软限制和硬限制之间,存储配额调整 Kafka 磁盘存储限制。限制适用于所有可用磁盘空间。生产者在软限制和硬限制之间逐渐慢。限制防止磁盘填满速度过快并超过其容量。完整磁盘可能会导致问题被改正。硬限制是最大存储限制。

注意

对于 JBOD 存储,在所有磁盘间应用这个限制。如果代理使用两个 1TB 磁盘,且配额是 1.1 TB,则一个磁盘可能会填满,另一个磁盘几乎为空。

先决条件

流程

  1. 编辑 /opt/kafka/config/server.properties Kafka 配置文件。

    以下示例配置中显示了插件属性。

    Kafka Static Quota 插件配置示例

    # ...
    client.quota.callback.class=io.strimzi.kafka.quotas.StaticQuotaCallback 
    1
    
    client.quota.callback.static.produce=1000000 
    2
    
    client.quota.callback.static.fetch=1000000 
    3
    
    client.quota.callback.static.storage.soft=400000000000 
    4
    
    client.quota.callback.static.storage.hard=500000000000 
    5
    
    client.quota.callback.static.storage.check-interval=5 
    6
    
    # ...
    Copy to Clipboard Toggle word wrap

    1
    加载 Kafka Static Quota 插件。
    2
    设置制作者的字节阈值。1 Mbps。
    3
    设置消费者字节阈值。1 Mbps。
    4
    为存储设置下限。在本例中,400 GB。
    5
    为存储设置更高的硬限制。本例中为 500 GB。
    6
    以秒为单位设置存储检查之间的间隔。本例中的 5 秒。您可以将其设置为 0 以禁用检查。
  2. 使用默认配置文件启动 Kafka 代理。

    su - kafka
    /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
    Copy to Clipboard Toggle word wrap
  3. 验证 Kafka 代理是否正在运行。

    jcmd | grep Kafka
    Copy to Clipboard Toggle word wrap
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat