第 1 章 Kafka 调整概述
微调 Kafka 部署的性能涉及根据具体要求优化各种配置属性。本节介绍了 Kafka 代理、生产者和消费者的通用配置选项。
虽然 Kafka 需要一组最小配置才能正常工作,但 Kafka 属性允许进行大量调整。通过配置属性,您可以提高延迟、吞吐量和整体效率,确保 Kafka 部署满足应用程序的需求。
为了进行有效的调整,采用方法论。从分析相关指标开始,识别潜在的瓶颈或区域改进。迭代调整配置参数,监控性能指标的影响,然后相应地优化您的设置。
有关 Apache Kafka 配置属性的更多信息,请参阅 Apache Kafka 文档。
此处提供的指导提供了调整 Kafka 部署的起点。查找最佳配置取决于工作负载、基础架构和性能目标等因素。
1.1. 映射属性和值 复制链接链接已复制到粘贴板!
如何指定配置属性取决于部署的类型。如果在 OCP 上部署了 Apache Kafka 的 Streams,您可以使用 Kafka 资源通过 config 属性为 Kafka 代理配置添加 Kafka 代理的配置。使用 RHEL 上的 Apache Kafka 的 Streams,您可以将配置作为环境变量添加到属性文件中。
当您向自定义资源添加 config 属性时,您可以使用冒号(':')来映射属性和值。
自定义资源中的配置示例
num.partitions:1
当您将属性添加为环境变量时,您可以使用等号('=')来映射属性和值。
将配置示例作为环境变量
num.partitions=1
本指南中的一些示例可能会显示 OpenShift 中针对 Apache Kafka 的 Streams 的资源配置。但是,当在 RHEL 上使用 Streams for Apache Kafka 时,显示的属性同样同样适用于环境变量。