Spring Batch读取AWS S3文件时stepExecutionContext的fileName为null问题咨询

核心问题点 #

• 上下文键名大小写不匹配：partitioner里存入执行上下文的键是大写FILE_NAME，但itemReader里SpEL表达式取的是小写fileName，键名不一致直接导致取值为null
• ExecutionContext未绑定到分区逻辑：你在partitioner方法内自行创建的ExecutionContext实例没有传递给分区器的分区生成逻辑，属于完全无效的代码
• S3资源适配问题：此前读取本地挂载盘时生效，是因为本地文件系统Resource的getFilename()方法可以正常返回文件名，而S3Resource的getFilename()逻辑和本地文件不一致，部分场景会返回null，导致原分区器默认写入文件名的逻辑失效
• 存储值类型错误：你直接把全量文件的Set集合存入上下文，就算键名匹配，用String类型接收也会抛出类型转换异常，每个分区应该对应单个文件的路径，而非全量文件集合

修复代码 #

调整分区器逻辑 #

给每个分区单独绑定对应文件的执行上下文，保持键名一致：

@Bean
@JobScope
public CustomMultiResourcePartitioner partitioner() {
    CustomMultiResourcePartitioner partitioner = new CustomMultiResourcePartitioner();
    Set<String > filesToProcess= fileRepository.findAllFilesByFileState("NEW");
    List<Resource> resourceList = new ArrayList<>();
    Map<String, ExecutionContext> partitionContextMap = new HashMap<>();
    int partitionNum = 0;

    for(String file:filesToProcess) {
        Resource resource = getS3Resource(file);
        resourceList.add(resource);
        // 每个分区单独生成上下文，存储对应单个文件的路径
        ExecutionContext executionContext = new ExecutionContext();
        executionContext.put("fileName",file);
        partitionContextMap.put("partition-" + partitionNum, executionContext);
        partitionNum++;
    }
    resources = resourceList.toArray(new Resource[0]);
    partitioner.setResources(resources);
    // 将自定义分区上下文传入分区器，不同自定义分区器的传值方法名可能有差异，也可以直接重写分区器的partition方法返回该上下文Map
    partitioner.setPartitionContexts(partitionContextMap);
    return partitioner;
}

可选简化方案：直接取分区资源 #

如果不想修改自定义分区器的逻辑，可以用Spring Batch默认MultiResourcePartitioner的内置规则，直接从上下文取当前分区的资源对象，不需要额外传递文件名：

@Bean
@StepScope
public FlatFileItemReader<RosterInput> itemReader(@Value("#{stepExecutionContext[inputResource]}") Resource resource) throws UnexpectedInputException, ParseException {
    FlatFileItemReader<RosterInput> reader = new FlatFileItemReader<RosterInput>();
    DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer();
    tokenizer.setStrict(false);
    reader.setResource(resource);
    // 其余reader配置省略
    return reader;
}

内容的提问来源于stack exchange，提问作者Bala