如何用Spring Batch读取S3桶中2GB文件并分块处理（解决OOM问题）

核心思路 #

Spring Batch的Chunk处理机制天生适配大文件分块处理，核心逻辑是避免一次性加载整个文件到内存，通过S3流式API直接获取文件输入流，结合逐行/逐块读取+分批处理，每次仅在内存中保留一小批（Chunk）数据。

具体实现步骤 #

1. 配置S3流式读取客户端

使用AWS SDK直接获取S3文件的输入流，跳过本地下载环节：

// AWS SDK v2示例
S3Client s3Client = S3Client.builder().region(Region.US_EAST_1).build();
GetObjectRequest getObjectRequest = GetObjectRequest.builder()
        .bucket("你的存储桶名称")
        .key("目标文件夹/2GB大文件.csv")
        .build();
InputStream s3InputStream = s3Client.getObject(getObjectRequest);

2. 用Spring Batch的ItemReader流式读取

推荐使用FlatFileItemReader（适用于文本类文件），它本身就是逐行读取模式，不会将整个文件加载到内存。将S3输入流包装为InputStreamResource传入：

@Bean
public FlatFileItemReader<YourDataModel> s3LargeFileReader() {
    InputStreamResource resource = new InputStreamResource(s3InputStream);
    
    return new FlatFileItemReaderBuilder<YourDataModel>()
            .name("s3LargeFileReader")
            .resource(resource)
            .delimited()
            .names(new String[]{"字段1", "字段2", "字段3"}) // 对应文件列名
            .targetType(YourDataModel.class)
            .build();
}

如果是自定义格式文件，可自行实现ItemReader接口，基于S3输入流编写分块读取逻辑。

3. 配置Chunk处理参数

在Job配置中设置Chunk大小，控制单次处理的数据量，避免内存过载：

@Bean
public Step processLargeFileStep(ItemReader<YourDataModel> reader, 
                                 ItemProcessor<YourDataModel, ProcessedData> processor,
                                 ItemWriter<ProcessedData> writer) {
    return new StepBuilder("processLargeFileStep", jobRepository)
            .<YourDataModel, ProcessedData>chunk(1000, transactionManager) // 单次处理1000条
            .reader(reader)
            .processor(processor)
            .writer(writer)
            .build();
}

Chunk大小可根据单条数据大小和JVM堆内存调整，比如单条数据1KB时，1000条仅占用约1MB内存，压力极低。

4. 处理压缩大文件

如果S3文件是压缩格式（如gzip），只需将输入流包装为压缩流即可，依然保持流式读取：

InputStream compressedInputStream = new GZIPInputStream(s3InputStream);
InputStreamResource resource = new InputStreamResource(compressedInputStream);

关键注意事项 #

• 不要将S3文件下载到本地磁盘再读取，直接流式读取可同时节省磁盘空间和内存开销
• 确保FlatFileItemReader未启用一次性加载配置（如避免调用readAllLines()这类方法）
• 处理完成后需关闭S3输入流，可通过@PreDestroy注解或Spring资源自动管理实现
• 若仍存在内存压力，可适当调小Chunk大小，或配合调整JVM堆内存参数（如-Xmx2g）

内容的提问来源于stack exchange，提问作者AJITH SATHISH