Docker中ActiveMQ Artemis集群缩容后消息未正常处理问题求助

部署环境 #

• Docker实例包含嵌入式ActiveMQ Artemis broker及Web应用
• Broker配置了集群、高可用（HA）及共享存储（shared store）
• 启动3个Docker实例

测试场景 #

• 在其中一个Web应用的队列中添加200条消息
• 日志显示所有Docker实例均在处理消息（符合预期）
• 终止其中一个Docker实例

实际结果 #

• 并非所有消息都被处理（队列中每条消息应对应数据库中的一条记录）
• 重启被终止的Docker实例后，仍无法处理所有消息

预期结果 #

• 当某一节点下线时，其他节点应接管未处理的消息
• 当节点重新上线后，应协助处理消息

疑问解答 #

1. 高可用（HA）缩容功能失效是否因直接终止服务器导致？ #

直接终止服务器（如强制kill）会导致broker无法优雅关闭，节点持有的未确认消息会处于悬停状态。集群需要通过超时机制检测节点不可用，默认的refresh-timeout=10000（10秒）可能需要调短，让集群更快感知节点下线。另外，若消息的max-delivery-attempts设置过低，未处理的消息可能在重试两次后被丢至死信队列，导致无法继续处理。即使直接终止节点，只要配置正确，集群最终应能重分发未确认的消息，但优雅关闭节点（如docker stop）能避免状态不一致的问题。

2. 该功能仅支持文件系统持久化，还是也支持RDBMS持久化？ #

ActiveMQ Artemis的共享存储HA模式完全支持RDBMS持久化，只要所有节点连接同一个数据库实例，且数据库支持事务和行级锁（如MySQL、PostgreSQL）。你的配置中已经使用database-store，这是正确的，但需确保数据库连接参数正确，且所有节点使用相同的存储配置。

配置问题分析与修正示例 #

原配置的核心问题 #

1. 连接器/接收器地址硬编码：所有实例的netty-connector和netty-acceptor都使用固定主机名project-two，导致集群节点无法正确识别彼此的地址，通信异常。
2. HA模式配置混淆：若要多节点同时处理消息（集群负载均衡），不应使用master-slave的HA模式，而应配置共享存储集群模式；若要一主多从的HA，slave节点会处于 standby状态，无法参与消息处理，与你的测试场景矛盾。
3. 消息重试策略不合理：max-delivery-attempts=2可能导致消息快速被丢至死信队列，未被充分重试。
4. 安全配置缺失：security-enabled=true但未配置任何权限规则，可能引发访问权限问题。

修正后的配置示例 #

<configuration
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns="urn:activemq"
    xsi:schemaLocation="urn:activemq /schema/artemis-server.xsd">
    <core xmlns="urn:activemq:core">

        <security-enabled>true</security-enabled>
        <jmx-management-enabled>true</jmx-management-enabled>
        <management-address>activemq.management</management-address>

        <persistence-enabled>true</persistence-enabled>
        <store>
            <database-store>
                <jdbc-driver-class-name>${artemis.databaseDriverClass}</jdbc-driver-class-name>
                <jdbc-connection-url>${artemis.databaseConnectionUrl}</jdbc-connection-url>
                <jdbc-user>${artemis.databaseUsername}</jdbc-user>
                <jdbc-password>${artemis.databasePassword}</jdbc-password>
                <bindings-table-name>ARTEMIS_BINDINGS</bindings-table-name>
                <message-table-name>ARTEMIS_MESSAGE</message-table-name>
                <page-store-table-name>ARTEMIS_PS</page-store-table-name>
                <large-message-table-name>ARTEMIS_LARGE_MESSAGES</large-message-table-name>
                <node-manager-store-table-name>ARTEMIS_NODE_MANAGER</node-manager-store-table-name>
            </database-store>
        </store>

        <!-- 使用环境变量或容器主机名动态设置连接器地址 -->
        <connectors>
            <connector name="netty-connector">tcp://${HOSTNAME}:61617</connector>
        </connectors>

        <!-- 监听所有网卡，确保容器内服务可被外部访问 -->
        <acceptors>
            <acceptor name="netty-acceptor">tcp://0.0.0.0:61617</acceptor>
        </acceptors>

        <!-- 集群发现配置 -->
        <broadcast-groups>
            <broadcast-group name="my-broadcast-group">
                <group-address>231.7.7.7</group-address>
                <group-port>9876</group-port>
                <broadcast-period>2000</broadcast-period>
                <connector-ref>netty-connector</connector-ref>
            </broadcast-group>
        </broadcast-groups>

        <discovery-groups>
            <discovery-group name="my-discovery-group">
                <group-address>231.7.7.7</group-address>
                <group-port>9876</group-port>
                <!-- 缩短超时，更快感知节点下线 -->
                <refresh-timeout>5000</refresh-timeout>
            </discovery-group>
        </discovery-groups>

        <cluster-connections>
            <cluster-connection name="my-cluster">
                <connector-ref>netty-connector</connector-ref>
                <retry-interval>500</retry-interval>
                <use-duplicate-detection>true</use-duplicate-detection>
                <!-- 按需负载均衡，适合多消费者场景 -->
                <message-load-balancing>ON_DEMAND</message-load-balancing>
                <max-hops>1</max-hops>
                <discovery-group-ref discovery-group-name="my-discovery-group"/>
                <!-- 启用消息重分发，节点下线时自动重分发未确认消息 -->
                <allow-direct-connections-only>false</allow-direct-connections-only>
            </cluster-connection>
        </cluster-connections>

        <!-- 安全配置：允许所有用户访问（生产环境需细化） -->
        <security-settings>
            <security-setting match="#">
                <permission type="createNonDurableQueue" roles="guest"/>
                <permission type="deleteNonDurableQueue" roles="guest"/>
                <permission type="createDurableQueue" roles="guest"/>
                <permission type="deleteDurableQueue" roles="guest"/>
                <permission type="send" roles="guest"/>
                <permission type="consume" roles="guest"/>
            </security-setting>
        </security-settings>

        <!-- 调整消息重试策略，避免消息过早被丢弃 -->
        <address-settings>
            <address-setting match="#">
                <redelivery-delay>5000</redelivery-delay>
                <redelivery-multiplier>1.5</redelivery-multiplier>
                <!-- 增加重试次数，或设置为-1无限重试（生产环境需结合死信队列） -->
                <max-delivery-attempts>5</max-delivery-attempts>
                <!-- 启用节点下线时的消息重分发 -->
                <redistribution-delay>1000</redistribution-delay>
            </address-setting>
        </address-settings>

        <addresses>
            <!-- 示例队列配置，根据实际业务添加 -->
            <address name="exampleQueue">
                <anycast>
                    <queue name="exampleQueue"/>
                </anycast>
            </address>
        </addresses>

        <!-- 共享存储集群模式：多节点同时active，共享存储实现HA -->
        <ha-policy>
            <shared-store>
                <cluster/>
            </shared-store>
        </ha-policy>

    </core>
</configuration>

配置说明 #

1. 动态地址配置：使用${HOSTNAME}环境变量设置连接器地址，Docker容器启动时会自动注入主机名，确保集群节点能正确识别彼此。
2. 共享存储集群模式：<shared-store><cluster/></shared-store>配置允许多个节点同时处于active状态，共享数据库存储，实现负载均衡和故障转移。
3. 优化超时与重试：缩短refresh-timeout让集群更快感知节点下线，增加max-delivery-attempts避免消息过早被丢弃，配置redistribution-delay触发消息重分发。
4. 安全配置：添加基础权限规则，确保应用能正常发送和消费消息。

额外排查建议 #

• 检查死信队列（默认DLQ）是否有未处理的消息，若有则说明消息因重试次数耗尽被丢弃。
• 查看broker日志，确认集群节点之间的连接状态，是否有通信异常。
• 确保Docker容器之间的网络连通性，特别是集群广播端口（9876）和连接器端口（61617）未被防火墙阻断。

内容的提问来源于stack exchange，提问作者R.Groote