如何使用Apache Camel轮询文件夹仅获取最新修改的文件
Camel轮询文件夹每次仅读取最新文件的实现方案
问题根因
你当前配置的核心问题是Camel文件组件默认开启了幂等消费机制:即使配置了noop=true不修改源文件,Camel也会内部维护已处理文件的缓存列表,后续轮询会自动跳过这些已处理过的文件,所以才会出现处理完最新文件后依次处理次新文件的情况。
解决方案
关闭默认幂等校验即可实现需求,调整后的路由配置如下:
from("file:C:/test?noop=true&idempotent=false&sortBy=reverse:file:modified&eagerMaxMessagesPerPoll=false&maxMessagesPerPoll=1") .routeId("MainRoute") .bean(FileProcessor.class);
参数说明
noop=true:保证Camel不会修改、删除源文件夹内的任意文件,符合要求idempotent=false:关闭默认幂等校验,允许每次轮询都重新扫描目录下的所有文件,不会跳过已处理过的文件sortBy=reverse:file:modified:所有文件按最后修改时间倒序排列,最新文件排在第一位eagerMaxMessagesPerPoll=false:保证所有文件完成排序后再取结果,避免先取文件后排序导致取到的不是最新文件maxMessagesPerPoll=1:每次轮询仅取排序后的第一条记录,也就是当前目录的最新文件
可选优化配置
如果有额外场景需求可以追加对应参数:
- 控制轮询频率:追加
delay=xxxx,单位为毫秒,例如delay=5000代表每5秒轮询一次 - 避免读取未完成写入的文件:追加
readLock=modified&readLockMinAge=1000,代表文件最后修改时间满1秒后才会被读取 - 业务侧控制重复处理逻辑:如果不需要每次轮询都重复处理同一个最新文件,可以在
FileProcessor中自行维护最近处理的文件标识,根据业务规则判断是否需要跳过当前文件的处理逻辑即可
内容的提问来源于stack exchange,提问作者Andrei
相关产品推荐
相关产品推荐

