在Docker容器运行的Spring Batch如何不生成本地文件直接写入远端SFTP服务器

核心思路：完全绕开本地磁盘IO，全程不会产生容器本地磁盘写入操作，内存占用仅和配置的chunk大小相关，和总数据量无关，把DB读取到的数据在内存中组装成flatfile格式后，直接通过SFTP的输出流写入远程服务器。

1. 引入必要依赖 #

以Maven为例，添加Spring Integration SFTP组件依赖：

<dependency>
    <groupId>org.springframework.integration</groupId>
    <artifactId>spring-integration-sftp</artifactId>
    <version>对应你的Spring Boot/Cloud版本</version>
</dependency>

2. 配置SFTP会话工厂 #

统一管理SFTP连接，复用会话避免频繁握手开销：

@Bean
public DefaultSftpSessionFactory sftpSessionFactory() {
    DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true);
    factory.setHost("你的SFTP服务地址");
    factory.setPort(22);
    factory.setUser("SFTP登录用户名");
    // 密码认证方式
    factory.setPassword("SFTP登录密码");
    // 密钥认证方式替换为下面的配置
    // factory.setPrivateKey(new FileSystemResource("你的私钥文件路径"));
    // factory.setPrivateKeyPassphrase("私钥密码");
    factory.setAllowUnknownKeys(true);
    return factory;
}

3. 自定义流式写入的ItemWriter #

替换Spring Batch默认的FlatFileItemWriter，自定义Writer实现数据直接写入SFTP远程流，不需要落盘：

import org.springframework.batch.item.ExecutionContext;
import org.springframework.batch.item.ItemStream;
import org.springframework.batch.item.ItemStreamException;
import org.springframework.batch.item.ItemWriter;
import org.springframework.batch.item.Chunk;
import org.springframework.batch.item.file.LineAggregator;
import org.springframework.integration.sftp.session.DefaultSftpSessionFactory;
import org.springframework.integration.sftp.session.SftpSession;
import org.springframework.util.IOUtils;
import java.io.IOException;
import java.io.OutputStream;
import java.nio.charset.StandardCharsets;

public class SftpStreamFlatFileItemWriter<T> implements ItemWriter<T>, ItemStream {

    private final DefaultSftpSessionFactory sftpSessionFactory;
    private final String remoteFilePath;
    private final LineAggregator<T> lineAggregator;
    private SftpSession sftpSession;
    private OutputStream outputStream;
    private static final String LINE_SEPARATOR = System.lineSeparator();

    public SftpStreamFlatFileItemWriter(DefaultSftpSessionFactory sftpSessionFactory, 
                                        String remoteFilePath, 
                                        LineAggregator<T> lineAggregator) {
        this.sftpSessionFactory = sftpSessionFactory;
        this.remoteFilePath = remoteFilePath;
        this.lineAggregator = lineAggregator;
    }

    @Override
    public void open(ExecutionContext executionContext) throws ItemStreamException {
        // 作业启动时打开SFTP会话和远程文件输出流
        this.sftpSession = sftpSessionFactory.getSession();
        try {
            this.outputStream = sftpSession.writeRaw(remoteFilePath);
        } catch (IOException e) {
            throw new ItemStreamException("打开远程SFTP文件输出流失败", e);
        }
    }

    @Override
    public void write(Chunk<? extends T> chunk) throws Exception {
        // 每批数据组装成flatfile行后直接写入SFTP流
        for (T item : chunk.getItems()) {
            String line = lineAggregator.aggregate(item) + LINE_SEPARATOR;
            outputStream.write(line.getBytes(StandardCharsets.UTF_8));
        }
        outputStream.flush();
    }

    @Override
    public void close() throws ItemStreamException {
        // 作业结束/异常时自动释放流和SFTP会话
        IOUtils.closeQuietly(outputStream);
        if (sftpSession != null && sftpSession.isOpen()) {
            sftpSession.close();
        }
    }
}

说明：因为实现了ItemStream接口，Spring Batch会自动管理Writer的生命周期，不需要手动处理资源的打开和关闭，异常场景下也能保证资源正常释放。

4. 替换原有Step的Writer配置 #

直接复用你原有业务的LineAggregator（比如分隔符格式用DelimitedLineAggregator、固定宽度格式用FormatterLineAggregator），注入到自定义Writer中即可，Reader和Processor的逻辑完全不需要修改。

其他方案对比（不推荐） #

• Docker挂载SFTP远程目录到容器：不需要修改业务代码，但依赖操作系统FUSE挂载层，网络波动时IO稳定性差，且额外增加了挂载层的IO开销，性能低于直接流写入
• 先写本地临时文件再同步到SFTP：需要占用容器本地磁盘空间，大文件场景下容易出现磁盘占满、同步耗时久的问题，不符合不生成本地文件的要求

内容的提问来源于stack exchange，提问作者fjoseph1313