3.2. 生产者和消费者
生产者和消费者通过代理发送和接收消息(发布和订阅)。消息包含一个可选的键和值,它包括了消息数据以及标头和相关的元数据。密钥用于识别消息的主题或消息的属性。消息在批处理中传输,并且记录包含标头和元数据,它们提供客户端过滤和路由相关的详细信息,如记录的时间戳和偏移位置。
生产者和消费者
- 制作者
- 制作者发送消息到代理主题,以写入分区的最终用户。消息由制作者按轮循方式写入分区,或根据消息键写入到特定分区。
- 消费者
- 消费者订阅一个主题,并根据主题、分区和偏移读取消息。
- 消费者组
-
用户组用来共享由来自给定主题的多个制作者生成的大型数据流。消费者使用
group.id
分组,允许消息分散到成员中。组中的消费者不会从同一分区读取数据,但可以从一个或多个分区接收数据。 - Offsets
Offset 描述分区内消息的位置。给定分区中的每个消息都有一个唯一的偏移值,这有助于识别分区中消费者的位置,以跟踪已消耗的记录数。
已提交的偏移会写入偏移日志。
__consumer_offsets
主题根据消费者组在提交偏移量上存储信息,这是最后一个偏移的位置。
生成和使用数据