2.2. 生产者和消费者
生产者和消费者通过代理发送和接收消息(发布和订阅)。消息包含一个可选 键 和一个包含消息数据 的值,以及标头和相关元数据。键用于标识消息的主题或消息的属性。消息批量交付,批处理和记录包含标头和元数据,提供有助于客户端过滤和路由的详细信息,如记录的时间戳和偏移位置。
生产者和消费者
- producer
- 制作者将消息发送到代理主题,以写入到分区的末尾偏移。消息由制作者以轮循方式写入分区,或者写入基于消息密钥的特定分区。
- consumer
- 消费者订阅一个主题,并根据主题、分区和偏移读取信息。
- 消费者组
-
消费者组用于共享通常由多个生产者从给定主题生成的大型数据流。用户使用
group.id
进行分组,允许信息分散到成员中。组内的使用者不会从同一分区读取数据,而是可以从一个或多个分区接收数据。 - offsets
偏移描述了消息在分区中的位置。给定分区中的每个消息都有一个唯一偏移,这有助于识别使用者在分区中的位置,以跟踪已使用的记录数。
提交的偏移写入偏移提交日志。根据消费者组,
__consumer_offsets
主题存储了提交的偏移信息,以及最后一个和下一个偏移的位置。
生成和使用数据