基于Spring Batch的工作流数据迁移：如何突破JpaRepositoryItemReader单仓库限制？

当需要从多个JPA仓库读取数据进行迁移时，JpaRepositoryItemReader单一仓库的限制可以通过以下几种方式解决：

方案1：用CompositeItemReader组合多个JpaRepositoryItemReader #

这是最直接的方案，Spring Batch自带的CompositeItemReader可以把多个独立的JpaRepositoryItemReader串联起来，按顺序读取每个仓库的数据，适合需要依次处理多个独立仓库数据的场景。

示例代码：

// 第一个仓库的Reader：读取用户数据
@Bean
public JpaRepositoryItemReader<User> userReader(EntityManagerFactory userEntityManagerFactory, UserRepository userRepository) {
    return new JpaRepositoryItemReaderBuilder<User>()
            .repository(userRepository)
            .methodName("findAll")
            .entityManagerFactory(userEntityManagerFactory)
            .build();
}

// 第二个仓库的Reader：读取订单数据
@Bean
public JpaRepositoryItemReader<Order> orderReader(EntityManagerFactory orderEntityManagerFactory, OrderRepository orderRepository) {
    return new JpaRepositoryItemReaderBuilder<Order>()
            .repository(orderRepository)
            .methodName("findAll")
            .entityManagerFactory(orderEntityManagerFactory)
            .build();
}

// 组合两个Reader
@Bean
public CompositeItemReader<Object> multiRepositoryReader() {
    return new CompositeItemReaderBuilder<Object>()
            .delegates(List.of(userReader(), orderReader()))
            .build();
}

如果多个仓库对应不同的数据源，务必给每个JpaRepositoryItemReader指定对应的EntityManagerFactory，确保读取的是目标数据源的仓库数据。

方案2：自定义MultiRepositoryItemReader实现灵活读取 #

如果需要更灵活的读取逻辑（比如交替读取不同仓库数据、按业务条件混合读取），可以自己实现ItemReader接口，手动整合多个JpaRepository的读取逻辑。

示例代码：

@Component
public class MultiRepositoryItemReader<T> implements ItemReader<T> {
    private final List<JpaRepository<?, ?>> repositories;
    private int currentRepoIndex = 0;
    private Iterator<?> currentIterator;

    // 注入需要读取的多个仓库
    public MultiRepositoryItemReader(List<JpaRepository<?, ?>> repositories) {
        this.repositories = repositories;
        // 初始化第一个仓库的迭代器
        this.currentIterator = repositories.get(0).findAll().iterator();
    }

    @Override
    public T read() throws Exception {
        // 读取当前仓库的下一条数据
        if (currentIterator.hasNext()) {
            return (T) currentIterator.next();
        }
        // 当前仓库数据读完，切换到下一个仓库
        else if (currentRepoIndex < repositories.size() - 1) {
            currentRepoIndex++;
            currentIterator = repositories.get(currentRepoIndex).findAll().iterator();
            return read();
        }
        // 所有仓库数据读取完毕，返回null结束
        return null;
    }
}

你可以根据需求修改逻辑，比如加入分页处理、条件过滤，或者实现并行读取多个仓库数据的逻辑。

方案3：通过自定义Repository方法合并多仓库关联数据 #

如果需要读取多个仓库的关联数据（比如用户与其关联的订单），可以在一个Repository中编写自定义JPQL或原生SQL查询，关联多个实体表，然后用JpaRepositoryItemReader调用这个方法，一次性获取合并后的数据。

示例：
首先在UserRepository中定义关联查询方法：

public interface UserRepository extends JpaRepository<User, Long> {
    @Query("SELECT u, o FROM User u JOIN u.orders o WHERE u.status = :status")
    List<Object[]> findActiveUsersWithOrders(@Param("status") String status);
}

然后配置对应的JpaRepositoryItemReader：

@Bean
public JpaRepositoryItemReader<Object[]> userWithOrdersReader(UserRepository userRepository) {
    return new JpaRepositoryItemReaderBuilder<Object[]>()
            .repository(userRepository)
            .methodName("findActiveUsersWithOrders")
            .parameterValues(Collections.singletonMap("status", "ACTIVE"))
            .build();
}

后续在ItemProcessor中，可以将返回的Object[]转换成业务需要的DTO对象。

方案4：配置多EntityManagerFactory支持跨数据源仓库读取 #

如果多个仓库对应不同的数据源，首先需要配置多个EntityManagerFactory和对应的TransactionManager，确保每个仓库连接到正确的数据源，然后给每个JpaRepositoryItemReader指定对应的EntityManagerFactory即可。

示例配置：

// 第一个数据源的EntityManagerFactory（用户库）
@Bean
@Primary
public LocalContainerEntityManagerFactoryBean userEntityManagerFactory(EntityManagerFactoryBuilder builder) {
    return builder
            .dataSource(userDataSource())
            .packages("com.example.user.entity")
            .persistenceUnit("userPU")
            .build();
}

// 第二个数据源的EntityManagerFactory（订单库）
@Bean
public LocalContainerEntityManagerFactoryBean orderEntityManagerFactory(EntityManagerFactoryBuilder builder) {
    return builder
            .dataSource(orderDataSource())
            .packages("com.example.order.entity")
            .persistenceUnit("orderPU")
            .build();
}

// 对应的数据源配置（示例）
@Bean
@ConfigurationProperties(prefix = "spring.datasource.user")
public DataSource userDataSource() {
    return DataSourceBuilder.create().build();
}

@Bean
@ConfigurationProperties(prefix = "spring.datasource.order")
public DataSource orderDataSource() {
    return DataSourceBuilder.create().build();
}

配置完成后，每个JpaRepositoryItemReader使用对应的EntityManagerFactory，就能读取不同数据源下的仓库数据了。

内容的提问来源于stack exchange，提问作者Buddhima Chamaranga