Camel重复消费FTP根目录文件问题排查（已设置idempotent=true）

这个问题我之前帮同事排查过，大概率和Camel FTP的幂等键生成逻辑或者noop配置有关，咱们一步步拆解：

可能的原因 #

1. 默认幂等键未包含文件路径 #

Camel FTP默认的idempotentKey只取纯文件名（${file:name}），但这里有个容易踩的坑：如果你的FTP服务器根目录的文件在处理后没有被移走或删除（比如没设delete=true或move参数），同时FTP服务器的根目录存在某种机制（比如文件被访问后修改时间戳自动更新），会让Camel误判为「新文件」。而子目录的文件因为服务器配置或权限原因，修改时间没有被改动，所以幂等判断能正常生效，仅消费一次。

2. noop=true的隐性影响 #

如果你配置了noop=true（这个参数会自动开启idempotent=true），Camel会基于文件的修改时间+文件大小来判断是否已处理。要是你的FTP服务器在根目录下会自动更新文件的修改时间（比如部分FTP服务会在文件被读取后刷新时间戳），那每次轮询Camel都会认为这是一个未处理过的文件，从而重复消费。

解决方案 #

方案1：显式指定包含路径的幂等键 #

修改FTP端点配置，把idempotentKey设置为包含相对路径的表达式，让每个文件的唯一标识是「路径+文件名」，确保根目录和子目录的同名文件都能被正确标记：

// Java DSL 示例
from("ftp://user@host//?idempotent=true&idempotentKey=${file:relativePath}")
    .process(yourProcessor)
    .to("your-target-endpoint");

或者XML配置：

<!-- Spring XML 示例 -->
<from uri="ftp://user@host//?idempotent=true&amp;idempotentKey=${file:relativePath}"/>

方案2：调整noop或文件处理策略 #

如果你的路由用了noop=true，可以尝试两个方向：

• 移除noop=true，改用delete=true（处理后删除文件）或move=processed/${file:name}（处理后移到指定目录），从根源上避免重复扫描同一文件；
• 如果必须保留noop=true，可以自定义幂等键，比如结合文件名+文件大小+文件的初始修改时间（不过这种方式不如移走文件可靠）。

方案3：使用持久化幂等仓库（备选） #

默认的内存幂等仓库在路由重启后会丢失已处理记录，但你的问题是不重启也重复消费，所以这个是兜底方案。如果需要长期稳定的幂等性，可以用JdbcIdempotentRepository（数据库存储）或HazelcastIdempotentRepository（分布式缓存存储），确保已处理的文件记录不会丢失。

内容的提问来源于stack exchange，提问作者Asish Kumar Samanta