Tomcat集群下内存缓存共享及批处理作业重复执行问题咨询

一、自定义内存缓存的集群共享问题 #

哥们，你的判断完全正确——Tomcat集群里的每个节点都是独立的JVM进程，各自的内存空间完全隔离，所以你用静态对象存的缓存根本没法直接在节点间共享。

至于你提到的Delta Manager和Backup Manager，得明确一点：它们只负责HttpSession对象的复制/同步，完全不支持自定义内存缓存的共享。这俩组件是专门为Session一致性设计的，对咱们自己写的缓存对象没有任何感知，别指望它们能帮上忙。

给你几个可行的解决方案：

• 改用集中式缓存：把缓存从Tomcat内存移到独立的分布式缓存服务，比如Redis、Memcached。所有Tomcat节点都从这个统一的缓存源读写数据，天然就解决了共享问题。而且这类缓存还支持过期、持久化等功能，比自己写的内存缓存健壮得多。
• 基于消息队列的缓存同步：如果不想放弃内存缓存的高性能，可以保留每个节点的本地缓存，同时在更新缓存时，通过消息队列（比如RabbitMQ、ActiveMQ）给其他所有Tomcat节点发送更新通知，让它们同步更新自己的本地缓存。这种方式要注意消息的可靠性，避免丢消息导致缓存不一致。
• 数据库兜底+定时刷新：如果数据更新频率不高，可以让每个节点定期从数据库拉取最新数据刷新本地缓存。但这种方式有延迟，适合对实时性要求不高的场景。

二、集群下批处理作业的重复执行问题 #

确实，多个Tomcat实例各自触发批处理的话，大概率会导致重复执行，进而引发数据混乱、资源浪费等问题，这个坑必须避开。这里给你几个靠谱的思路：

• 分布式锁机制：在批处理任务执行前，先尝试获取一个分布式锁（比如用Redis的SETNX命令，或者ZooKeeper的分布式锁实现）。只有成功获取锁的节点才能执行任务，其他节点直接跳过。要注意设置合理的锁过期时间，避免节点挂了导致锁一直占用。
• 使用支持集群的调度框架：比如Quartz的集群模式，把Job的执行状态存储在共享数据库里，Quartz会自动协调多个节点，确保同一个Job同一时间只有一个节点执行。Spring Batch也支持集群部署，通过共享元数据数据库来避免重复执行。
• 独立部署批处理服务：把批处理任务从Tomcat节点里剥离出来，单独部署成一个定时任务服务（比如用XXL-Job、Elastic-Job这类分布式调度平台）。Tomcat节点只处理Web请求，批处理由专门的服务统一调度，从根源上避免重复执行。

内容的提问来源于stack exchange，提问作者Aman Mohammed