如何在ActiveMQ中自动丢弃重复消息并阻止其进入.DLQ队列

1. 配置条件死信策略丢弃重复消息 #

针对duplicate from store导致的DLQ消息，可通过条件死信策略直接丢弃这类消息。修改activemq.xml中的死信策略配置：

<deadLetterStrategy>
    <sharedDeadLetterStrategy processExpired="false"
                              processNonPersistent="false">
        <conditionalDeadLetterStrategy>
            <ifException>
                <exception>java.lang.Throwable</exception>
                <exceptionText>duplicate from store</exceptionText>
                <deadLetterStrategy>
                    <discardingDeadLetterStrategy/>
                </deadLetterStrategy>
            </ifException>
        </conditionalDeadLetterStrategy>
    </sharedDeadLetterStrategy>
</deadLetterStrategy>

该配置会匹配异常文本包含duplicate from store的消息，通过discardingDeadLetterStrategy直接丢弃，不送入DLQ。

2. 启用Broker端消息去重 #

从源头减少重复消息生成，开启Broker的消息审计去重功能：

• 在broker标签中开启全局去重，同时在队列策略中配置审计参数：

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost" dataDirectory="${activemq.data}" enableMessageAudit="true">
    <!-- 其他Broker配置 -->
    <destinationPolicy>
        <policyMap>
            <policyEntries>
                <policyEntry queue=">" enableMessageAudit="true" auditDepth="1000" auditMaximumProducerNumber="100"/>
            </policyEntries>
        </policyMap>
    </destinationPolicy>
</broker>

• 生产者发送消息时，确保设置唯一的JMSMessageID或自定义标识，让Broker能识别重复请求。

3. 调整持久化存储的重复处理逻辑 #

若重复消息来自Broker重启后的存储恢复，可修改持久化适配器配置，直接忽略存储中的重复消息。以KahaDB为例：

<persistenceAdapter>
    <kahaDB directory="${activemq.data}/kahadb" detectDuplicates="true" ignoreDuplicateMessages="true"/>
</persistenceAdapter>

ignoreDuplicateMessages="true"会让Broker跳过存储中检测到的重复消息，既不投递也不转DLQ。

注意：修改配置后需重启Broker生效，操作前建议备份配置文件和持久化数据。

内容的提问来源于stack exchange，提问作者Bhuvanesh Waran