第 4 章 Kafka 消费者配置调整
使用带有为特定用例量身定制的可选属性的基本消费者配置。
在调整您的消费者时,您的主要关注将确保他们能够高效地处理数据量。与生成者调优一样,准备好进行增量更改,直到消费者按预期工作。
4.1. 基本消费者配置 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
每个消费者都需要 connection 和 deserializer 属性。通常,为跟踪添加客户端 ID 是不错的做法。
在消费者配置中,无论后续配置是什么:
- 消费者从给定的偏移中获取,并按顺序消耗消息,除非将偏移更改为跳过或重新读取消息。
- 代理不知道消费者是否处理响应,即使将偏移提交到 Kafka,因为偏移可能会发送到集群中的不同代理。
基本消费者配置属性
- 1
- (必需)告诉消费者使用 Kafka 代理的 host:port bootstrap 服务器地址连接到 Kafka 集群。消费者使用地址来发现并连接到集群中的所有代理。如果服务器停机,请使用逗号分隔的列表来指定两个或三个地址,但不需要提供集群中所有代理的列表。如果您使用 loadbalancer 服务公开 Kafka 集群,则只需要该服务的地址,因为可用性由 loadbalancer 处理。
- 2
- (必需) Deserializer 将从 Kafka 代理获取的字节数转换为消息密钥。
- 3
- (必需) Deserializer 将从 Kafka 代理获取的字节数转换为消息值。
- 4
- (可选)客户端的逻辑名称,用于日志和指标来识别请求源。id 也可以根据处理时间配额来节流消费者。
- 5
- (条件)消费者 需要 组 id 才能加入消费者组。