Apache Camel多文件下载的正确方案及常见问题解惑

问题原因 #

你遇到的流程阻塞问题，核心源于两点：

1. pollEnrich的阻塞特性：pollEnrich默认会无限等待一个消息（文件），单次timer触发后，它读取第一个文件后会继续等待下一个文件，无超时配置时会一直卡住。
2. 单次timer的局限性：timer设为单次触发时，路由仅执行一次，若手动循环调用pollEnrich却未处理“无文件时终止循环”的逻辑，同样会导致持续等待。

正确实现多文件下载的方案 #

方案1：利用File/SFTP组件原生批量消费（推荐） #

Camel的File/SFTP组件原生支持自动扫描目录下所有文件，无需timer和pollEnrich，这是最贴合Camel设计理念的方式：

// 本地文件示例
from("file:///your/source/path?noop=true&delay=3000&maxMessagesPerPoll=100")
    .to("direct:processFile") // 后续处理路由
    .to("file:///your/target/path");

// SFTP文件示例
from("sftp://username@remote-host/path?password=xxx&noop=true&delay=3000")
    .to("direct:processFile")
    .to("file:///your/local/target/path");

参数说明：

• noop=true：保留源文件（需删除源文件可去掉）
• delay=3000：每隔3秒扫描一次目录
• maxMessagesPerPoll=100：每次扫描最多处理100个文件，避免一次性加载过多文件

方案2：timer触发批量处理（适合特定场景） #

若必须用timer触发单次批量任务，可主动获取文件列表后拆分处理，规避pollEnrich的阻塞：

from("timer:batchTrigger?repeatCount=1") // 单次触发批量任务
    .bean(FileScanner.class, "listAllSourceFiles") // 自定义Bean返回源目录下所有文件路径列表
    .split(body()) // 拆分列表，逐个处理每个文件
    .pollEnrich("file:///your/source/path?fileName=${body}&noop=true", 500) // 超时500毫秒，确保无文件时不阻塞
    .filter(body().isNotNull()) // 过滤空消息（避免无文件时执行后续逻辑）
    .to("direct:processFile")
    .to("file:///your/target/path");

自定义Bean示例：

@Component
public class FileScanner {
    public List<String> listAllSourceFiles() {
        File sourceDir = new File("/your/source/path");
        return Arrays.stream(sourceDir.listFiles())
                .filter(File::isFile)
                .map(File::getName)
                .collect(Collectors.toList());
    }
}

常见认知误区 #

1. 误用pollEnrich做批量消费：pollEnrich的设计初衷是为当前Exchange补充单个消息（比如获取额外数据 enrich 主消息），并非批量读取文件的工具，批量场景用组件原生扫描能力更合适。
2. 忽略timer的生命周期：单次timer触发后，路由上下文会进入结束状态，若此时pollEnrich仍在等待消息，会导致整个流程卡住，必须给pollEnrich设置超时时间。
3. 手动重复造轮子：Camel的File/SFTP组件已封装批量扫描、文件过滤、并发处理等能力，无需手动循环调用pollEnrich实现多文件下载，这违背了Camel“路由即配置”的设计思想。

内容的提问来源于stack exchange，提问作者Anup Singh