Spring Batch实现：如何将图片文件加载至PostgreSQL数据库？

基于你的Spring Batch使用经验，以下是针对文件到bytea字段导入的具体实现步骤，核心是通过读取目录资源→解析文件名主键→读取文件字节→写入数据库的流程完成批量处理：

一、定义数据模型 #

先创建对应数据库表的实体类，用于封装主键和文件字节内容：

public class FileData {
    private Long id; // 从文件名提取的主键，比如"1.jpg"中的1
    private byte[] content; // 对应PostgreSQL的bytea字段

    // 省略getter、setter方法
}

数据库表结构参考：

CREATE TABLE file_store (
    id BIGINT PRIMARY KEY,
    content BYTEA NOT NULL
);

二、配置ItemReader：读取目录下所有文件 #

使用MultiResourceItemReader批量扫描目标目录的文件，直接返回Resource对象供后续处理：

@Bean
public MultiResourceItemReader<Resource> multiResourceItemReader() throws IOException {
    MultiResourceItemReader<Resource> reader = new MultiResourceItemReader<>();
    // 配置目标目录路径，支持绝对路径（file:/path/to/dir/*）或Spring资源路径
    reader.setResources(new PathMatchingResourcePatternResolver().getResources("file:/your/target/directory/*"));
    // 直接传递Resource对象给Processor
    reader.setDelegate(new PassThroughItemReader<>());
    return reader;
}

三、配置ItemProcessor：解析文件名+读取文件内容 #

自定义Processor完成两个核心操作：从文件名提取主键、读取文件为字节数组：

@Component
public class FileToDataProcessor implements ItemProcessor<Resource, FileData> {

    @Override
    public FileData process(Resource resource) throws IOException {
        // 解析文件名提取主键（根据你的命名规则调整，这里假设是"数字.后缀"格式）
        String fileName = resource.getFilename();
        Long id = Long.parseLong(fileName.split("\\.")[0]);

        // 读取文件内容为字节数组
        byte[] content = FileCopyUtils.copyToByteArray(resource.getInputStream());

        FileData fileData = new FileData();
        fileData.setId(id);
        fileData.setContent(content);
        return fileData;
    }
}

四、配置ItemWriter：写入PostgreSQL bytea字段 #

使用JdbcBatchItemWriter完成批量写入，PostgreSQL的bytea类型可直接与Java的byte[]映射：

@Bean
public JdbcBatchItemWriter<FileData> jdbcBatchItemWriter(DataSource dataSource) {
    JdbcBatchItemWriter<FileData> writer = new JdbcBatchItemWriter<>();
    writer.setDataSource(dataSource);
    // 插入SQL，通过占位符映射实体字段
    writer.setSql("INSERT INTO file_store (id, content) VALUES (:id, :content)");
    // 自动映射实体属性到SQL参数
    writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>());
    return writer;
}

五、组装Job和Step #

按Spring Batch标准流程组装Job和Step，可根据文件大小调整批次（chunk）数量：

@Bean
public Job importFilesJob(JobRepository jobRepository, Step importFilesStep) {
    return new JobBuilder("importFilesJob", jobRepository)
            .start(importFilesStep)
            .build();
}

@Bean
public Step importFilesStep(JobRepository jobRepository, PlatformTransactionManager transactionManager,
                           MultiResourceItemReader<Resource> reader, FileToDataProcessor processor,
                           JdbcBatchItemWriter<FileData> writer) {
    return new StepBuilder("importFilesStep", jobRepository)
            .<Resource, FileData>chunk(10, transactionManager) // 每10个文件作为一个批次
            .reader(reader)
            .processor(processor)
            .writer(writer)
            // 可选：添加异常跳过策略，避免单个文件失败导致整个任务终止
            .faultTolerant()
            .skip(IOException.class)
            .skipLimit(10)
            .listener(new SkipListener<Resource, FileData>() {
                @Override
                public void onSkipInProcess(Resource item, Throwable t) {
                    System.err.println("处理文件失败：" + item.getFilename() + "，原因：" + t.getMessage());
                }
            })
            .build();
}

关键注意事项 #

• 路径配置：确保PathMatchingResourcePatternResolver能正确扫描文件，绝对路径需以file:/开头，相对路径需符合Spring资源加载规则。
• 文件名解析：如果你的文件名规则更复杂（比如包含前缀、多分隔符），需调整split逻辑或使用正则表达式提取主键。
• 内存控制：如果处理大文件，需减小chunk大小，避免内存溢出；也可考虑流式读取文件（而非一次性加载为字节数组）。
• 驱动兼容性：确保使用的PostgreSQL JDBC驱动版本（如postgresql:42.6.0及以上）支持bytea与byte[]的自动映射。

内容的提问来源于stack exchange，提问作者Alexander Popov