第 4 章 Kafka 使用者配置调整
使用针对特定用例量身定制的可选属性的基本使用者配置。
在调整您的主要关注方时,将确保他们能够高效应对数据量。与制作者调优一样,准备在消费者按预期工作之前进行增量更改。
4.1. 基本消费者配置 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
每个消费者都需要 connection 和 deserializer 属性。通常,为跟踪添加客户端 ID 是不错的做法。
在消费者配置中,任何后续配置都相关:
- 用户从指定的偏移获取并按顺序使用消息,除非偏移更改为跳过或重新读取消息。
- 代理不知道使用者是否处理了响应,即使向 Kafka 提交偏移量,因为偏移量可能会发送到集群中的不同代理。
基本使用者配置属性
# ...
bootstrap.servers=localhost:9092
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer
client.id=my-client
group.id=my-group-id
# ...
- 1
- (必需)使用 host:port bootstrap 服务器地址为 Kafka 代理连接到 Kafka 集群。用户使用该地址来发现和连接到集群中的所有代理。如果服务器停机,请使用逗号分隔列表来指定两个或三个地址,但不需要提供集群中的所有代理列表。如果您使用负载均衡器服务公开 Kafka 集群,则您只需要该服务的地址,因为负载均衡器处理可用性。
- 2
- (必需) Deserializer 将从 Kafka 代理获取的字节数转换为消息键。
- 3
- (必需) Deserializer 将从 Kafka 代理获取的字节数转换为消息值。
- 4
- (可选)客户端的逻辑名称,用于日志和指标来标识请求的来源。id 也可用于根据处理时间配额限制消费者。
- 5
- 消费者 需要 (conditional) A 组 ID 才能加入消费者组。