切换共享存储HA后ActiveMQ Artemis主Pod陷入重启循环

核心问题定位 #

你遇到的主备循环切换，根源是共享存储的文件锁丢失以及节点发现阶段的DNS解析超时，导致备节点反复触发主备切换逻辑。

1. 文件锁丢失的原因与修复 #

Shared-store模式依赖共享存储上的文件锁来保证主节点唯一性，Azure存储账户提供的PV可能存在以下问题：

• Azure Files（若使用该存储类型）默认文件锁机制与Artemis的FileLockNodeManager兼容性不足，网络波动时易出现锁丢失
• PV挂载参数未配置正确的锁支持

修复步骤：

• 检查PV存储类型：若使用Azure Files，确保存储类配置mountOptions包含dir_mode=0777,file_mode=0777,actimeo=30，同时确认存储账户层级支持文件锁
• 调整Artemis锁超时参数：在broker.xml的<ha-policy>下添加锁相关配置，避免误判锁丢失：

<shared-store>
  <master>
    <failover-on-shutdown>true</failover-on-shutdown>
    <wait-for-activation>false</wait-for-activation>
    <lock-timeout>60000</lock-timeout> <!-- 延长锁超时至60秒 -->
    <check-period>5000</check-period> <!-- 缩短锁检查间隔 -->
  </master>
</shared-store>

• 备节点对应调整：

<shared-store>
  <slave>
    <failover-on-shutdown>true</failover-on-shutdown>
    <allow-failback>true</allow-failback>
    <lock-timeout>60000</lock-timeout>
    <check-period>5000</check-period>
  </slave>
</shared-store>

注：你之前使用的<primary>/<backup>是旧版命名，Artemis 2.x推荐用<master>/<slave>，二者兼容但建议统一配置风格。

2. DNS解析与节点启动顺序问题 #

日志中artemis.artemis.svc.cluster.local解析失败，是因为主Pod未完全就绪时，备节点就尝试连接，导致误判主节点离线。

修复步骤：

• 配置Pod启动探针：给主节点添加livenessProbe和readinessProbe，确保Pod完全启动后才被服务发现：

livenessProbe:
  exec:
    command:
      - /bin/bash
      - -c
      - "/opt/artemis/bin/artemis check health"
  initialDelaySeconds: 60
  periodSeconds: 10
readinessProbe:
  exec:
    command:
      - /bin/bash
      - -c
      - "/opt/artemis/bin/artemis check readiness"
  initialDelaySeconds: 30
  periodSeconds: 5

• 调整备节点启动等待时间：在备节点配置中添加<wait-for-master-timeout>，让备节点等待足够时间再尝试获取锁：

<slave>
  <failover-on-shutdown>true</failover-on-shutdown>
  <allow-failback>true</allow-failback>
  <wait-for-master-timeout>120000</wait-for-master-timeout> <!-- 等待2分钟再尝试切换为主节点 -->
</slave>

3. KUBE_PING配置验证 #

确保KUBE_PING配置正确，能正常发现集群内节点：

• 检查jgroups.xml中的KUBE_PING配置，确认命名空间、服务名称匹配：

<config xmlns="urn:org:jgroups" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="urn:org:jgroups http://www.jgroups.org/schema/jgroups-5.2.xsd">
  <TCP bind_addr="site_local" />
  <KUBE_PING
    namespace="artemis"
    service-name="artemis"
    port="7800" />
  <MERGE3 />
  <FD_SOCK />
  <FD_ALL timeout="60000" interval="10000" />
  <VERIFY_SUSPECT timeout="1500" />
  <BARRIER />
  <pbcast.NAKACK2 use_mcast_xmit="false" />
  <UNICAST3 />
  <pbcast.STABLE stability_delay="1000" desired_avg_gossip="50000" max_bytes="4M" />
  <pbcast.GMS print_local_addr="true" join_timeout="10000" view_bundling="true" />
  <UFC max_credits="2M" min_threshold="0.4" />
  <MFC max_credits="2M" min_threshold="0.4" />
  <FRAG2 frag_size="60K" />
</config>

• 调整JGroups的join_timeout至10秒，避免节点未完全加入集群就触发HA状态判断。

总结 #

优先解决共享存储的文件锁兼容性问题，调整锁超时和检查周期；其次通过探针和启动等待时间避免备节点误判主节点状态；最后验证KUBE_PING的节点发现配置。这些调整可有效解决主备循环切换问题。

内容的提问来源于stack exchange，提问作者TheGeniesis