Spring Batch+Hibernate数据迁移时ManyToMany关联持久化问题咨询

问题根源说明 #

1. LazyInitializationException：JPA默认多对多关联是懒加载，你在processor中通过Repository查询到的关联对象，对应的持久化会话在processor执行完就已经关闭，到writer阶段要读取关联集合时没有可用会话，就会抛出该异常。
2. 中间表无数据：JPA多对多关联有拥有方和被拥有方的区分，只有对拥有方的关联集合做修改，持久化时才会同步到中间表；如果只修改被拥有方的集合、或者级联配置错误，就不会生成中间表的写入语句。

具体实现方案 #

1. 调整JPA实体多对多映射配置 #

明确多对多的拥有方，这里假设D实体为关联拥有方，调整映射配置如下：

// 新库D实体（多对多拥有方）
@Entity
@Table(name = "d")
public class D {
    // 其余字段省略
    @ManyToMany(fetch = FetchType.EAGER)
    @JoinTable(name = "d_e_mid", // 中间表名
        joinColumns = @JoinColumn(name = "d_id"), // 主表对应中间表的外键
        inverseJoinColumns = @JoinColumn(name = "e_id")) // 关联表对应中间表的外键
    private Set<E> es;
}

// 新库E实体（多对多被拥有方）
@Entity
@Table(name = "e")
public class E {
    // 其余字段省略
    @ManyToMany(mappedBy = "es", fetch = FetchType.EAGER) // mappedBy指向拥有方的关联字段名
    private Set<D> ds;
}

如果E表已经提前完成迁移，不需要在D迁移时修改E数据，不要加cascade = CascadeType.ALL配置，避免重复插入E数据。 #

2. 调整Step配置适配多对多持久化 #

使用JpaItemWriter绑定新库的EntityManager和事务管理器，确保chunk范围内的持久化操作共享同一个事务和会话：

@Bean(name="migrateDsStep")
public Step migrateDs(PlatformTransactionManager newDbTransactionManager, EntityManagerFactory newDbEmf) {
    return stepBuilderFactory.get("migrateDs")
            .<org.h2.D, org.mssql.D> chunk(100)
            .reader(dReader())
            .processor(dItemProcessor)
            .writer(jpaItemWriter(newDbEmf))
            .listener(chunkLogger)
            .transactionManager(newDbTransactionManager) // 绑定新库的事务管理器
            .build();
}

// 新库JpaItemWriter配置
@Bean
public JpaItemWriter<org.mssql.D> jpaItemWriter(EntityManagerFactory newDbEmf) {
    JpaItemWriter<org.mssql.D> writer = new JpaItemWriter<>();
    writer.setEntityManagerFactory(newDbEmf);
    return writer;
}

3. 关联数据预加载+Processor逻辑修正 #

优先完成关联表E的全量迁移，提前把E的旧库ID和新库实体的映射关系加载到内存缓存中，避免processor实时查库带来的会话问题和性能损耗：

@Component
@Import({mssqldConfiguration.class, H2dConfiguration.class})
public class ClassificationItemProcessor implements ItemProcessor<org.h2.D, org.mssql.D> {

    // 预加载的E映射缓存：key=旧库E的主键ID，value=新库的E实体
    private final Map<Long, E> eIdCache;

    // 构造注入预加载的缓存
    public ClassificationItemProcessor(Map<Long, E> eIdCache) {
        this.eIdCache = eIdCache;
    }

    @Override
    public org.mssql.D process(org.h2.D oldD) throws Exception {
        org.mssql.D newD = new org.mssql.D();
        newD.setA(oldD.getA());
        newD.setB(oldD.getB());
        
        // 从缓存中匹配关联的E实体
        Set<E> relatedEs = oldD.getOldEIds().stream()
                .map(eIdCache::get)
                .collect(Collectors.toSet());
        // 给拥有方D设置关联集合，只要该配置正确，持久化时会自动写入中间表
        newD.setEs(relatedEs);

        return newD;
    }
}

额外注意事项 #

• 严格控制迁移顺序：先完成所有关联表（如E表）的迁移，再迁移主表（如D表），保证缓存中存在所有需要的关联数据
• 禁止使用Open Session In View方案解决懒加载问题，批处理场景下会引发连接泄漏、性能下降等问题
• 如果数据量过大无法全量缓存关联表，可以在查询关联表时使用fetch join语句一次性加载所有需要的字段，查询后手动调用Hibernate.initialize(关联集合)完成初始化

内容的提问来源于stack exchange，提问作者lukas681