Infinispan 7.1.1.Final升级间歇性自动停机问题排查咨询

问题背景 #

我们在RHEL7虚拟机上部署了独立版Infinispan Server 7.1.1.Final，搭配有依赖该服务的业务服务。升级后出现间歇性问题：Infinispan启动数分钟后自动停机，进而导致依赖服务及虚拟机停止运行；重启虚拟机后问题可临时解决。

相关日志 #

2022-11-02 22:43:06,618 INFO  [org.jboss.modcluster] (ServerService Thread Pool -- 36) MODCLUSTER000002: Initiating mod_cluster shutdown
2022-11-02 22:43:06,623 INFO  [org.wildfly.extension.undertow] (MSC service thread 1-2) JBAS017521: Undertow HTTP listener default suspending
2022-11-02 22:43:06,710 INFO  [org.wildfly.extension.undertow] (MSC service thread 1-2) JBAS017520: Undertow HTTP listener default stopped, was bound to /<VM_IP>:<VM_Port>
2022-11-02 22:43:06,713 INFO  [org.wildfly.extension.undertow] (MSC service thread 1-2) JBAS017506: Undertow 1.0.15.Final stopping
2022-11-02 22:43:06,734 INFO  [org.jboss.as.clustering.infinispan] (MSC service thread 1-3) JBAS010282: Stopped default cache from clustered container
2022-11-02 22:43:06,747 INFO  [org.jboss.as.clustering.infinispan] (MSC service thread 1-1) JBAS010282: Stopped ___hotRodTopologyCache cache from clustered container
2022-11-02 22:43:06,757 INFO  [org.jboss.as.clustering.infinispan] (MSC service thread 1-1) JBAS010282: Stopped ___protobuf_metadata cache from clustered container
2022-11-02 22:43:06,758 INFO  [org.infinispan.remoting.transport.jgroups.JGroupsTransport] (MSC service thread 1-1) ISPN000080: Disconnecting JGroups channel clustered
2022-11-02 22:43:06,770 INFO  [org.infinispan.remoting.transport.jgroups.JGroupsTransport] (MSC service thread 1-1) ISPN000082: Stopping the RpcDispatcher for channel clustered
2022-11-02 22:43:06,788 INFO  [org.jboss.as] (MSC service thread 1-3) JBAS015950: JBoss Infinispan Server 7.1.1.Final (WildFly 8.1.0.Final) stopped in 335ms

排查思路 #

• 追溯mod_cluster触发停机的根源：日志首行显示mod_cluster发起了shutdown，需检查mod_cluster的配置（如负载均衡心跳检测阈值、节点健康检查规则），确认是否因网络波动、节点响应延迟导致mod_cluster误判Infinispan节点不可用，主动触发停机指令。
• 检查系统资源瓶颈：查看RHEL7虚拟机的内存、CPU、文件句柄限制，通过/var/log/messages、/var/log/dmesg系统日志排查是否存在OOM Killer杀死Infinispan进程的记录；同时分析Infinispan的GC日志，确认是否因内存溢出导致服务崩溃。
• 核对升级后的配置变更：对比升级前后Infinispan的standalone.xml/domain.xml配置，重点排查集群通信（JGroups参数）、线程池、缓存策略的变更，确认是否存在配置错误（如集群发现失败、线程池耗尽）引发服务自动退出。
• 排查业务服务的影响：检查业务服务与Infinispan的交互日志，确认停机前是否存在大量并发请求、异常调用（如缓存操作死循环、数据量过载），导致Infinispan资源耗尽或内部错误触发停机。
• 排查虚拟机层面的异常：检查虚拟机是否存在定时任务、监控脚本误杀Infinispan进程的情况；同时确认宿主机是否存在资源争抢、硬件异常等问题，导致虚拟机进程被强制终止。
• 验证版本兼容性：确认升级过程中是否引入了与RHEL7系统库（如glibc）、业务服务不兼容的组件，Infinispan 7.1.1.Final基于WildFly 8.1.0.Final，可在测试环境复现升级流程，验证版本匹配性。

内容的提问来源于stack exchange，提问作者Prachi Turbhekar