Spring Integration：应用关闭时未消费消息的保护方案咨询

问题本质 #

核心风险在于：实例1将100个文件的元数据持久化到JDBC存储后，未完成消费就终止，若元数据被误标记为「已处理」，其他实例或重启后的实例会跳过这些文件，导致永久丢失。解决关键是给元数据增加状态管理和锁自动释放机制，让未完成消费的消息能被重新拾取。

具体实现步骤 #

1. 改造JDBC元数据表结构 #

默认的JdbcMetadataStore仅存储键值对，无法跟踪消息状态，需扩展表结构新增3个字段：

• status：标记消息状态，可选值：未处理/锁定中/已完成
• lock_owner：记录锁定消息的实例标识（如实例ID、主机名+端口）
• lock_expire：锁的过期时间戳（毫秒）

DDL示例：

CREATE TABLE file_metadata (
    file_key VARCHAR(255) PRIMARY KEY COMMENT '文件唯一标识（文件名+修改时间）',
    file_modify_time BIGINT COMMENT '文件修改时间戳',
    status VARCHAR(20) DEFAULT '未处理' COMMENT '消息状态',
    lock_owner VARCHAR(100) COMMENT '锁定实例ID',
    lock_expire BIGINT COMMENT '锁过期时间'
);

2. 自定义轮询锁逻辑 #

修改文件轮询器的逻辑，确保每次只获取可处理的文件：

• 轮询时，查询status='未处理'或lock_expire < 当前时间戳的文件
• 对目标文件执行原子更新：将status设为锁定中，lock_owner设为当前实例唯一ID，lock_expire设为当前时间+超时时间（建议设为10分钟，需长于最长消费耗时）
• 只有成功锁定的文件才会进入消费流程

3. 消费完成与异常处理 #

• 处理器成功消费并删除文件后，将对应元数据的status更新为已完成，清空lock_owner和lock_expire
• 若消费抛出异常：
  • 可重试异常：延长lock_expire时间，触发重试
  • 不可重试异常：将status改回未处理，释放锁，允许其他实例接手

4. 上下文关闭时的优雅清理 #

给实例注册上下文关闭事件监听器，在收到ContextClosedEvent时：

• 批量查询当前lock_owner对应的所有锁定中状态的元数据
• 将这些元数据的status改回未处理，清空锁信息；若为临时重启，也可延长锁时间
• 用@PreDestroy或SmartLifecycle接口确保清理操作在容器销毁前执行，避免中途中断

5. 故障转移与重启后的处理 #

其他实例或重启后的实例在轮询时，会自动识别未处理或锁过期的文件，重复「锁定-消费-更新状态」的流程，确保未完成的消息被继续处理，不会丢失。

关键细节 #

• 原子操作：所有元数据状态更新必须用原子SQL（如UPDATE file_metadata SET status='锁定中' WHERE file_key=? AND (status='未处理' OR lock_expire<?)），避免并发冲突
• 超时时间：lock_expire需根据实际消费耗时调整，过短会导致重复处理，过长会延迟故障转移
• 实例ID唯一：每个实例的lock_owner必须唯一，可用UUID.randomUUID()或主机名+端口+启动时间生成
• 删除时机：必须在消费完成、元数据更新为已完成后再删除文件，避免文件已删但元数据状态未更新的不一致

内容的提问来源于stack exchange，提问作者st.