如何使用Spring Integration轮询文件夹并携带文件内容调用REST接口

1. Spring Integration适配性说明 #

• 完全适配该场景，Spring Integration原生提供文件监听/轮询组件、HTTP调用组件，天然和Spring Boot、Spring Batch生态无缝集成，自带重复文件过滤、异常重试、异步处理等开箱能力，不需要自行实现基础逻辑，是该场景的最优方案之一。

2. 最简实现示例 #

首先引入所需依赖（Maven示例）：

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-integration</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.integration</groupId>
        <artifactId>spring-integration-file</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.integration</groupId>
        <artifactId>spring-integration-http</artifactId>
    </dependency>
</dependencies>

然后编写Spring Integration配置类：

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.integration.dsl.IntegrationFlow;
import org.springframework.integration.dsl.Pollers;
import org.springframework.integration.file.dsl.Files;
import org.springframework.integration.file.filters.AcceptOnceFileListFilter;
import org.springframework.integration.http.dsl.Http;
import org.springframework.util.FileCopyUtils;

import java.io.File;
import java.nio.charset.StandardCharsets;
import java.time.Duration;

@Configuration
public class FilePollIntegrationConfig {

    // 配置文件轮询流
    @Bean
    public IntegrationFlow filePollFlow() {
        return IntegrationFlow
                // 轮询指定文件夹，替换为你的远程挂载文件夹路径
                .from(Files.inboundAdapter(new File("/path/to/remote/dir"))
                                // 过滤已经处理过的文件，避免重复调用
                                .filter(new AcceptOnceFileListFilter<>()),
                        // 配置轮询周期：每5秒轮询一次，每次最多拉取10个文件
                        e -> e.poller(Pollers.fixedDelay(Duration.ofSeconds(5)).maxMessagesPerPoll(10)))
                // 等待文件写入完成，避免读取到还在拷贝的不完整文件
                .filter(File.class, file -> !file.isFile() || file.lastModified() < System.currentTimeMillis() - 3000)
                // 读取文件内容为字符串
                .transform(File.class, file -> {
                    try {
                        return FileCopyUtils.copyToString(file, StandardCharsets.UTF_8);
                    } catch (Exception ex) {
                        throw new RuntimeException("读取文件失败", ex);
                    }
                })
                // 调用REST GET接口，替换为你的实际接口地址，文件内容放在请求参数content中
                .handle(Http.outboundGateway("http://your-batch-api/handle?content={payload}")
                                .httpMethod(org.springframework.http.HttpMethod.GET)
                                .expectedResponseType(String.class))
                // 可选：打印接口返回结果
                .handle(System.out::println)
                .get();
    }
}

注意：如果远程文件夹是未挂载到本地的SFTP/FTP文件夹，只需将入站适配器替换为Sftp.inboundAdapter()/Ftp.inboundAdapter()即可，其余逻辑无需修改。

3. Java WatchService可行性说明 #

• 可以实现，但仅适用非常简单的场景，存在明显局限：
  • WatchService是JDK提供的本地文件系统监听组件，仅支持监听本地挂载的文件夹，无法直接监听未挂载的远程SFTP/FTP服务器文件夹
  • 需要自行实现大量基础逻辑：文件写入完成判断、重复文件过滤、异常重试、和Spring/Spring Batch生态的整合逻辑，开发和维护成本远高于直接用Spring Integration
  • 高并发下的稳定性需要自行调优，Spring Integration的组件已经经过大量生产环境验证

内容的提问来源于stack exchange，提问作者Kevin Joymungol