第 10 章 检测重复信息
您可以将代理配置为自动检测和过滤重复的信息。这意味着您不必实施自己的重复检测逻辑。
如果没有重复检测,在出现意外连接失败时,客户端无法判断是否收到了它发送到代理的消息。在这种情况下,客户端可能假定代理没有接收消息,并重新发送消息。这会产生重复的信息。
例如,假设客户端向代理发送消息。如果在代理接收和处理消息 前 代理或连接失败,信息永远不会到达其地址。由于失败,客户端不会从代理收到响应。如果在代理接收和处理消息 后 代理或连接失败,则会正确路由消息,但客户端仍不会收到响应。
此外,在这些情况下,使用交易来确定成功不一定会有所帮助。如果在处理事务提交时代理或连接失败,客户端仍无法确定它是否成功发送消息。
在这些情况下,为了更正假定的失败,客户端会重新发送最新的消息。结果可能是对您的系统造成负面影响的重复消息。例如,如果您在订单系统中使用代理,则重复的消息可能意味着处理两次采购订单。
以下步骤演示了如何配置重复的消息检测以防止这些类型的情况。
10.1. 配置重复 ID 缓存
要让代理能够检测重复的消息,生产者必须在发送每条消息时为消息属性 _AMQ_DUPL_ID
提供唯一值。代理维护收到的 _AMQ_DUPL_ID
属性值的缓存。代理在地址上收到新消息时,它将检查该地址的缓存,以确保之前没有处理此属性值相同的消息。
每个地址都有自己的缓存。每个缓存都是循环的,并固定大小。这意味着,新条目会根据缓存空间需求替换最旧的条目。
以下流程演示了如何全局配置代理上每个地址使用的 ID 缓存。
流程
-
打开
<broker_instance_dir>/etc/broker.xml
配置文件。 在
core
元素中,添加id-cache-size
和persistent-id-cache
属性并指定值。例如:<configuration> <core> ... <id-cache-size>5000</id-cache-size> <persist-id-cache>false</persist-id-cache> </core> </configuration>
id-cache-size
ID 缓存的最大大小,指定为缓存中的单个条目数。默认值为 20,000 个条目。在本例中,缓存大小设置为 5,000 个条目。
注意当达到缓存的最大大小时,代理可能会开始处理重复的消息。例如,假设您将缓存的大小设置为
3000
。如果在发送新消息之前到达 3,000 多 条消息,且值为_AMQ_DUPL_ID
,代理将无法检测到重复消息。这会导致代理处理这两个消息。persist-id-cache
-
当此属性的值设为
true
时,代理会在收到 ID 时将其保留为磁盘。默认值为true
。在上例中,您可以通过将值设置为false
来禁用持久性。
其它资源
- 要了解如何使用 AMQ 核心协议 JMS 客户端设置重复 ID 消息属性,请参阅 AMQ Core Protocol JMS 客户端文档中的使用 重复消息检测。