Chapter 37. 重复消息检测

HornetQ具有强大的自动检测重复消息的功能。应用层无需实现复杂的重复检测。本章解释了什么是重复检测,它 在HornetQ中如何工作的,以及如何进行配置。

当客户端向服务器端发送消息时,或者从一个服务器向另一个服务器传递消息时,如果消息发送后目标服务器或者 连接出现故障,导致发送一方没有收到发送成功的确认信息,发送方因此就无法确定消息是否已经成功发送到了目标地 址。

如果上述的故障发生在消息被成功接收并处理后,但是在向发送方返回功能确认信息之前,那么消息实际上可以到达 其目的地址;如果故障发生在消息的接收及处理过程中,则消息不会到达其目的地址。从发送方的角度看,它无法区分 这两种情况。

当服务器恢复后,客户端面临的困难的选择。它知道服务器出了故障,但是不知道刚刚发送的消息是否成功到达目的 地址。如果它重新发送这个消息,就有可能造成消息的重复。如果这个消息是一个订单的话,重复发送消息就会产生两 个相同的订单,这当然不是所希望的結果。

将消息的发送放到一个事务中也不能解决这个问题。如果在事务提交的过程中发生故障,同样不能确定这个事务是否提交 成功!

为了解决这个问题,HornetQ提供了自动消息重复检测功能。

37.1. 在消息发送中应用重复检测

在消息发送中启用重复检测功能十分简单:你只需将消息的一个特殊属性设置一个唯一值。你可以用任意方法来 计算这个值,但是要保证它的唯一性。当目标服务器接收到这个消息时,它会检查这个属性是否被设置,如果设置了, 就检查内存缓存中是否已经接收到了相同值的消息。如果发现已经接收过具有相同属性值的消息,它将忽略这个消息。

Note

在节点之间的消息传递使用重复消息检测可以保证一次且只一次的传递,和使用 XA事务接收消息的效果一样,但是比XA消耗的资源要少,并且更容易。

如果是在一个事务中发送消息,则只需要设置其中一个消息的属性值。在服务器端如果服务器检测到一个事务中某一个 消息重复,则会忽略整个事务。

这个属性的名称由org.hornetq.api.core.HDR_DUPLICATE_DETECTION_ID定义,即: _HQ_DUPL_ID

该属性的值可以是byte[]类型或SimpleString类型(核心接口)。如果使用JMS,它必须是String 类型。它的值一定是唯一的。一个简单的方法是使用UUID。

下面是一个使用核心接口设置这个属性的例子:

...     

ClientMessage message = session.createMessage(true);

SimpleString myUniqueID = "This is my unique id";   // Could use a UUID for this

message.setStringProperty(HDR_DUPLICATE_DETECTION_ID, myUniqueID);

...
        

下面则是一个使用JMS的例子:

...     

Message jmsMessage = session.createMessage();

String myUniqueID = "This is my unique id";   // Could use a UUID for this

message.setStringProperty(HDR_DUPLICATE_DETECTION_ID.toString(), myUniqueID);

...
        

37.2. 配置重复ID缓存

服务器缓存中保存接收到的消息的org.hornetq.core.message.impl.HDR_DUPLICATE_DETECTION_ID属性值。每个地址有 单独的缓存。

缓存的大小是固定的,循环使用。如果缓存的最大可以存放n条记录,那么n + 1条记录将会覆盖缓存中的第0 条记录。

缓存的最大容量在文件hornetq-configuration.xml中配置,参数是id-cache-size。默认值是2000条记录。

在文件hornetq-configuration.xml中还可以配置将缓存持久化到磁盘。相应的参数 是persist-id-cache。如果设为true,则每加入一个id就将 它同时保存到磁盘中。默认值是true

Note

注意在设置缓存大小时,一定要保证缓存能保存足夠数量的记录,当消息被重新发送时,之前发送的ID不被 覆盖掉。

37.3. 桥与重复检测

核心桥可以通过配置在将消息发向目的服务器之前自动向消息中添加唯一的id(如果消息中还没有的话)。这样 如果目的服务器发生故障,核心桥在重新发送消息时,目的服务器就可以自动检测重复的消息,发现重复消息即丢弃。

要配置核心桥的自动添加id的功能,需要在hornetq-configuration.xml中桥的配置 里将use-duplicate-detection参数设为true

这个参数的默认值是true

关于核心桥的配置和使用,参见Chapter 36, 核心桥

37.4. 重复检测与集群连接

集群连接内部使用核心桥在节点间可靠地移动消息,因此它们的核心桥也可以配置自动添加id的功能。

配置的方法是在hornetq-configuration.xml文件中将集群连接的 use-duplicate-detection参数设为true

这个参数的默认值是true

有关集群连接配置的更多信息,请参见Chapter 38, 集群

37.5. 分页转存与重复检测

HornetQ在将消息进行分页转存中也使用了重复检测。当分页转存消息被从磁盘中读回到内存时,如果服务器发生故障, 重复检测可以避免在这一过程中有消息被重复读入,即避免了消息的重复传递。

关于分页转存的配置信息请参见Chapter 24, 分页转存