Spring Batch按表头复合键分文件输出：Writer配置及资源分配问询

从数据库读取包含单条表头记录与多条关联明细记录的数据，需按表头的复合键将每组表头+明细输出至不同文件。示例涉及：

• 表头表countries：字段为country_id、name、area
• 明细表country_stats：字段为country_id、year、population、gdp

咨询：是否可通过ClassifierCompositeItemWriter委托多个FlatFileItemWriter实现该功能？以及如何在运行时为每个FlatFileItemWriter分配Resource？

回答 #

完全可以用ClassifierCompositeItemWriter实现这个需求，它的核心作用就是根据自定义分类逻辑，将不同分组的Item路由到对应委托Writer处理，完美匹配按复合键拆分输出的场景。以下是具体实现步骤：

1. 定义统一的复合Item类型 #

由于需要同时处理表头和明细数据，先定义一个包含表头+明细的复合类，用于封装单组关联数据：

public class CountryData {
    private CountryHeader header;
    private List<CountryStat> stats;
    // 省略getter、setter、构造方法
}

// 对应countries表的实体类
public class CountryHeader {
    private Long countryId;
    private String name;
    private BigDecimal area;
    // 省略getter、setter
}

// 对应country_stats表的实体类
public class CountryStat {
    private Long countryId;
    private Integer year;
    private Long population;
    private BigDecimal gdp;
    // 省略getter、setter
}

2. 实现自定义Classifier逻辑 #

自定义Classifier，根据表头的复合键（示例用country_id，多字段复合键可拼接成唯一标识）对Item分组，确保同一组数据路由到同一个Writer：

public class CountryDataClassifier implements Classifier<CountryData, ItemWriter<? super CountryData>> {

    private final Map<String, ItemWriter<? super CountryData>> writerMap = new ConcurrentHashMap<>();
    private final ResourceWriterFactory writerFactory;

    public CountryDataClassifier(ResourceWriterFactory writerFactory) {
        this.writerFactory = writerFactory;
    }

    @Override
    public ItemWriter<? super CountryData> classify(CountryData item) {
        // 复合键场景可拼接多字段，比如countryId + "_" + regionCode
        String groupKey = item.getHeader().getCountryId().toString();
        // 不存在则通过工厂创建新Writer
        return writerMap.computeIfAbsent(groupKey, writerFactory::createWriter);
    }
}

3. 实现动态创建Writer的工厂（核心：运行时分配Resource） #

通过工厂类根据分组键动态生成FlatFileItemWriter，指定对应输出文件路径，完成运行时Resource分配：

@Component
public class ResourceWriterFactory {

    // 可通过配置注入输出基础路径
    @Value("${output.base.path:/tmp/country_data/}")
    private String baseOutputPath;

    public ItemWriter<CountryData> createWriter(String groupKey) {
        // 动态生成文件路径，比如/tmp/country_data/country_1001.csv
        String filePath = baseOutputPath + "country_" + groupKey + ".csv";
        Resource outputResource = new FileSystemResource(filePath);

        // 配置FlatFileItemWriter
        FlatFileItemWriter<CountryData> fileWriter = new FlatFileItemWriter<>();
        fileWriter.setResource(outputResource);
        
        // 自定义行聚合逻辑，实现先输出表头、再输出明细的格式
        fileWriter.setLineAggregator(item -> {
            StringBuilder lineBuilder = new StringBuilder();
            // 仅当是该组第一条数据时输出表头（可通过自定义标记判断，此处简化示例）
            lineBuilder.append(item.getHeader().getName()).append(",")
                      .append(item.getHeader().getArea()).append("\n");
            // 循环输出明细行
            for (CountryStat stat : item.getStats()) {
                lineBuilder.append(",").append(",") // 对齐表头列
                          .append(stat.getYear()).append(",")
                          .append(stat.getPopulation()).append(",")
                          .append(stat.getGdp()).append("\n");
            }
            return lineBuilder.toString().trim();
        });

        // 初始化Writer
        fileWriter.afterPropertiesSet();
        return fileWriter;
    }
}

提示：如果需要更严谨的表头输出控制（确保每组只输出一次表头），可以在CountryData中添加一个isFirst标记，或者在Writer中维护已输出表头的分组集合。

4. 配置ClassifierCompositeItemWriter #

在Batch配置类中整合Classifier和Writer工厂，组装最终的复合Writer：

@Configuration
public class CountryBatchJobConfig {

    @Autowired
    private ResourceWriterFactory writerFactory;

    @Bean
    public ClassifierCompositeItemWriter<CountryData> classifierCompositeWriter() {
        ClassifierCompositeItemWriter<CountryData> compositeWriter = new ClassifierCompositeItemWriter<>();
        compositeWriter.setClassifier(new CountryDataClassifier(writerFactory));
        return compositeWriter;
    }

    // 省略Job、Step、Reader的配置（Reader需实现关联查询，将表头+明细封装为CountryData对象）
}

额外注意点 #

• Reader关联查询：需确保Reader能正确关联表头和明细数据，比如用MyBatis嵌套查询、JPA@OneToMany关联，将单个国家的表头与所有明细封装为一个CountryData对象。
• 资源管理：处理大规模数据时，需注意Writer的资源占用，可在工厂中添加Writer销毁逻辑，避免资源泄漏。
• 复合键扩展：如果是多字段复合键，仅需在Classifier的classify方法中将多个字段拼接为唯一的groupKey即可。

内容的提问来源于stack exchange，提问作者dandelion